大数据测试须知之HDFS常用命令

启动Hadoop

进入HADOOP_HOME目录。

执行sh bin/start-all.sh

关闭Hadoop

进入HADOOP_HOME目录。

执行sh bin/stop-all.sh

1、查看目录下的文件列表：hadoop fs –ls [文件目录]

2、将本机文件夹存储至hadoop上：hadoop fs –put [本机目录] [hadoop目录]

hadoop fs -put tmp.txt hdfs://www.lance.com/lance#远程服务器地址

3、将hadoop上文件down至本机已有目录下：hadoop fs -get [文件目录] [本机目录]

4、在hadoop指定目录内创建新目录：hadoop fs –mkdir [目录]

5、在hadoop指定目录下新建一个文件，使用touchz命令：

hadoop fs -touchz /lance/tmp.txt

6、打开已存在文件：hadoop fs –cat [文件名称]

7、重命名/移动文件到另一个路径：hadoop fs –mv [旧文件名] [新文件名]

9、删除hadoop上文件：hadoop fs -rm [文件地址]

10、删除hadoop上指定文件夹（包含子目录等）：hadoop fs –rm -r [目录地址]

hadoop fs -rmr /lance

11、追加一个本地文件内容到HDFS中已存在的文件中

hadoop fs -appendToFile  /root/a.txt  /aaa/a.txt

12、修改HDFS中的文件权限

修改所属用户和所属组：

hadoop fs -chown -R angelababy:mygirls /aaa

修改权限：

hadoop fs -chmod 777 /aaa

13、将hadoop指定目录下所有内容保存为一个文件，同时下载至本机

hadoop dfs –getmerge /user /home/t

14、将正在运行的hadoop作业kill掉

hadoop job –kill [jobId]

15.复制某个路径文件到另一个路径

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2