Hadoop 2.7.3 Shell

Posted 2020-09-22 fee先生

[[email protected] ~]$ hdfs dfs -help

Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] <path> ...]
[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-truncate [-w] <length> <path> ...]
[-usage [cmd ...]]

-appendToFile <localsrc> ... <dst> :
将所有给定本地文件的内容追加到给定的目标文件中。如果目标文件不存在,将创建目标文件。如果< localsrc >是-,则从标准读取输入。.

-cat [-ignoreCrc] <src> ... :
获取与文件模式< src>匹配的所有文件,并在标准输出中显示其内容。
-checksum <src> ... :
校验文件信息

-chgrp [-R] GROUP PATH... :
类似于shell中的修改文件属组命令

-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH... :
类似于shell的修改文件权限命令
-R 递归修改文件

-chown [-R] [OWNER][:[GROUP]] PATH... :
类似于shell中的修改文件属主命令
-R 递归修改文件

-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst> :
与-put命令相同

-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst> :
与-get命令相同

-count [-q] [-h] <path> ... :
计算某个路径下与指定文件模式匹配的目录、文件和字节数的数量

-cp [-f] [-p | -p[topax]] <src> ... <dst> :
拷贝文件，[-f]云端已有文件时，强制覆盖

-createSnapshot <snapshotDir> [<snapshotName>] :
在目录上创建快照

-deleteSnapshot <snapshotDir> <snapshotName> :
从目录中删除快照
-df [-h] [<path> ...] :
显示文件系统的容量、可用空间和已用空间。如果文件系统具有多个分区,并且未指定到特定分区的路径,则将显示根分区的状态。

-h 以人为可读的方式格式化文件的大小,而不是字节数。

-du [-s] [-h] <path> ... :
显示与指定文件模式匹配的文件使用的空间量(以字节为单位)。以下标记是可选的:

-s 不是显示与模式匹配的每个单个文件的大小,显示总(摘要)大小
-h 以人为可读的方式格式化文件的大小,而不是字节数

-expunge :
从早于保留阈值的垃圾桶中删除文件

-find <path> ... <expression> ... :
查找与指定表达式匹配的所有文件,并对它们应用选定的操作。如果未指定<路径>，则认为当前工作目录。如果未指定表达式,则默认为-print

-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst> :
将与< src>匹配的文件复制到本地。复制多个文件时,目标必须是目录
-p保留访问和修改时间、所有权和模式

-getfacl [-R] <path> :
显示文件和目录的访问控制列表( ACL)。如果目录具有默认ACL,则getfacl还会显示默认ACL
-R 递归列出所有文件和目录的ACL.

-getfattr [-R] {-n name | -d} [-e en] <path> :
显示文件或目录的扩展属性名称和值(如果有)。
-R 归列出所有文件和目录的属性。
-n name 转储命名的扩展属性值。
-d 转储与路径名关联的所有扩展属性值。

-getmerge [-nl] <src> <localdst> :
获取与源文件模式匹配的目录中的所有文件,并将它们合并到本地文件系统上的只有一个文件。< src>保存。
-nl 在每个文件末尾添加换行符。

-help [cmd ...] :
如果指定命令或所有命令,则显示帮助。

-ls [-d] [-h] [-R] [<path> ...] :
列出与指定文件模式匹配的内容。如果未指定路径,将列出当前用户的内容 Directory

-d 目录列为纯文件
-h 以人可读的方式格式化文件的大小,而不是字节数。。
-R 递归列出目录的内容

-mkdir [-p] <path> ... :
在指定位置创建一个目录
-p 如果目录已经存在,请不要失败，继续创建目录

-moveFromLocal <localsrc> ... <dst> :
与-put相同,只是在拷贝后删除源

-moveToLocal <src> <localdst> :
尚未开始启用

-mv <src> ... <dst> :
将与指定文件模式< src >匹配的文件移动到目标< dst>。移动多个文件时,目标必须是目录

-put [-f] [-p] [-l] <localsrc> ... <dst> :
将文件从本地文件系统复制到fs。如果文件已经存在,则复制失败,除非给定-f标志
-p 保留访问和修改时间、所有权和模式。
-f 如果目标已经存在,则覆盖目标
-l 允许datanode延迟将文件保存到磁盘。强制将副本数置为1，此参数将导致数据耐久性降低，小心使用

-renameSnapshot <snapshotDir> <oldName> <newName> :
将快照从oldname重命名为newname

-rm [-f] [-r|-R] [-skipTrash] <src> ... :
删除与指定文件模式匹配的所有文件
-skipTrash 绕过垃圾桶,如果启用,并立即删除< src >
-f 如果文件不存在,不显示诊断消息或修改退出状态以反映错误
-[rR] 递归删除目录

-rmdir [--ignore-fail-on-non-empty] <dir> ... :
删除每个目录参数指定的目录条目,只要它为空

-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>] :
设置文件和目录的访问控制列表( ACL)
-b 删除除基本ACL之外的所有条目。
-k 删除默认的ACL
-R 递归对所有文件和目录应用操作。
-m 修改ACL。新条目添加到ACL,并保留现有条目。
-x 删除指定的ACL条目。保留其他ACL条目
--set 完全替换ACL,丢弃所有现有条目。必须包括用户、组和其他用户与权限位的兼容性条目

<acl_spec> ACL条目的逗号分隔列表。

-setfattr {-n name [-v value] | -x name} <path> :
为文件或目录设置扩展属性名称和值。

-n name 扩展属性名称
-v value 扩展属性值
-x name 删除扩展属性

-setrep [-R] [-w] <rep> <path> ... :
设置文件的复制级别
-w 它请求命令等待复制完成。这可能需要很长时间。
-R 它被接受为向后兼容性。它没有影响

-stat [format] <path> ... :
以指定格式在<路径>处的文件/目录的打印统计信息

-tail [-f] <file> :
显示文件最后1KB部分
-f 显示随文件增长而添加的数据

-test -[defsz] <path> :
回答有关<路径>的各种问题，通过状态码告知结果
-d 如果<path>是目录，返回0
-e 如果<path>存在，返回0
-f 如果<path>是文件，返回0
-s 如果<path>大于0字节，返回0
-z 如果文件<路径>为0个字节,则返回0,否则返回1。

-text [-ignoreCrc] <src> ... :
获取源文件并以文本格式输出文件

-touchz <path> ... :
在<路径>中创建空文件,以当前时间作为该<路径>的时间戳。如果文件存在非零长度,则返回错误。

-truncate [-w] <length> <path> ... :
删除所有被匹配到的文件
-w 请求命令等待数据块恢复完成(如有必要)

-usage [cmd ...] :
显示给定命令的用法，如果未指定则显示所有任何命令的用法
支持的通用选项：
-conf <configuration file> 指定一个应用的配置文件
-D <property=value> 给定属性的使用值
-fs <local|namenode:port> 指定一个namenode
-jt <local|resourcemanager:port> 指定一个ResourceManager
-files <comma separated list of files> 指定使用逗号分隔被拷贝进map reduce集群的文件
-libjars <comma separated list of jars> 指定要包含在classpath中的逗号分隔的jar文件
-archives <comma separated list of archives> 指定要在计算机上的逗号分隔的存档文件