参考文档：https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df

1. 环境：hadoop-2.6.0

2. 参数说明： hadoop fs
[-appendToFile <localsrc> … <dst>]
[-cat [-ignoreCrc] <src> …]
[-checksum <src> …]
[-chgrp [-R] GROUP PATH…]
[-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…]
[-chown [-R] [OWNER][:[GROUP]] PATH…]
[-copyFromLocal [-f] [-p] [-l] <localsrc> … <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> … <localdst>]
[-count [-q] [-h] <path> …]
[-cp [-f] [-p | -p[topax]] <src> … <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> …]]
[-du [-s] [-h] <path> …]
[-expunge]
[-find <path> … <expression> …]
[-get [-p] [-ignoreCrc] [-crc] <src> … <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd …]]
[-ls [-d] [-h] [-R] [<path> …]]
[-mkdir [-p] <path> …]
[-moveFromLocal <localsrc> … <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> … <dst>]
[-put [-f] [-p] [-l] <localsrc> … <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> …]
[-rmdir [–ignore-fail-on-non-empty] <dir> …]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[–set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> …]
[-stat [format] <path> …]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> …]
[-touchz <path> …]
[-usage [cmd …]]

-ls 显示当前目录结构

-ls -R 递归显示目录结构

-du 统计目录下文件大小 ;  -du -s 汇总目录下文件大小,单位字节  ; -du -h ,显示目录下各个文件的大小。  -du -s -h  /user/hive/warehouse/table_test ，汇总该表所占据的存储空间,显示单位。

-rm -f -r 递归删除目录文件

-cp -f 复制文件 source destination

-mv 移动文件或目录

-mkdir 创建目录

-get -f 下载文件

-put -f 上传文件

3. hadoop fs ，hadoop dfs ，hdfs dfs 都可以进行操作。 hadoop fs 的使用面最广，可以操作所有的文件系统； hadoop dfs ，hdfs dfs 只能操作 HDFS相关的文件。【Linux 目录环境】

4. 在hive 模式下，使用 dfs 命令进行相关操作，如删除文件：dfs -rm -r -f  /user/hive/warehouse/ods/t_column_to_row

5. hadoop fs -du  /user/hive/warehouse/ods  |sort -r -n -k 1 |awk ‘{ print $1/(1024*1024*1024),$3}’  |head -20   — 查询指定目录下存储量最大的top20