常用HDFS命令

关于命令的说明

关于HDFS的文件操作,主要使用以下3个命令:

  1. hadoop fs {args}
  2. ~~hadoop dfs {args} ~~ //已经废弃了
  3. hdfs dfs {args}
    其中命令2已经废弃,大家不要再使用了。fs和dfs的区别简要说一下,fs属于一个更抽象的概念,可以操作任何文件系统;而dfs只能操作HDFS文件系统相关(包括与Local FS间的操作)。** 比如,Hadoop本地模式中fs是local file system,这个时候dfs就不能用,只能用fs。**
  • 列出HDFS上的文件
hadoop fs -ls 路径

在这里需要注意:在HDFS中未带参数的”-ls”命名没有返回任何值,它默认返回HDFS的”home”目录下的内容。在HDFS中,没有当前目录这样一个概念,也没有cd这个命令。

  • 列出HDFS上的文件(递归)
hadoop fs -ls -R 路径
  • 上传文件到HDFS
    此处为你展示如何通过”-put 文件1 文件2″命令将”Master.Hadoop”机器下的”/home/hadoop”目录下的file文件上传到HDFS上并重命名为test
hadoop fs –put ~/file test

在执行”-put”时只有两种可能,即是执行成功和执行失败。在上传文件时,文件首先复制到DataNode上。只有所有的DataNode都成功接收完数据,文件上传才是成功的。其他情况(如文件上传终端等)对HDFS来说都是做了无用功。

  • 将HDFS中文件复制到本地系统中
    此处为你展示如何通过”-get 文件1 文件2″命令将HDFS中的”output”文件复制到本地系统并命名为”getout”
hadoop fs –get output getout
  • 删除HDFS下的文档
    此处为你展示如何删除用户home目录下的output文件夹
hadoop fs –rm -r output
  • 查看HDFS下某个文件
    此处为你展示如何通过”-cat 文件”命令查看HDFS下input文件中内容
hadoop fs -cat input/*
  • 查看HDFS状态
    这个当然不算文件操作了,当时是比较常用的命令,可以查看有哪些datanode,并且每个datanode的情况
hadoop dfsadmin -report
    原文作者:dzgdp888
    原文地址: https://www.jianshu.com/p/64a92a96fe3c
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞