Hadoop-hdfs dfs常用命令
Posted 桔梗花下学技术
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop-hdfs dfs常用命令相关的知识，希望对你有一定的参考价值。
-mkdir
创建目录
Usage：hdfs dfs -mkdir [-p] < paths>
选项：-p
示例：
hdfs dfs -mkdir /test-ls
查看目录下内容，包括文件名，权限，所有者，大小和修改时间
Usage：hdfs dfs -ls [-R] < args>(文件目录)
选项：-R 递归地显示子目录下的内容
示例：
hdfs dfs -ls /test-put
将本地文件或目录上传到HDFS中的路径
Usage：hdfs dfs -put < localsrc> … < dst>
示例：
hdfs dfs -put test.txt /test-get
将文件或目录从HDFS中的路径拷贝到本地文件路径
Usage：hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>
示例：hdfs dfs -get test/test.txt /data/local-du
显示目录中包含的文件和目录的大小或文件的长度，用字节大小表示，文件名用完整的HDFS协议前缀表示，以防它只是一个文件。
Usage：hdfs dfs -du [-s] [-h] URI [URI …]
选项：
-s选项将显示文件长度的汇总摘要，而不是单个文件。
-h选项将以M，G的方式格式化文件大小
示例：
hdfs dfs -du -h /test-mv
在HDFS中，将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。
Usage: hdfs dfs -mv URI [URI …] < destPath>示例：
hdfs dfs -mv /test/test.txt /test/cp-cp
在HDFS文件系统中，将文件或目录复制到目标路径下
Usage：hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>
选项：
-f 选项覆盖已经存在的目标。
-p 选项将保留文件属性[topx]（时间戳，所有权，权限，ACL，XAttr）。如果指定了-p且没有arg，则保留时间戳，所有权和权限。如果指定了-pa，则还保留权限，因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。
示例：
hdfs dfs -cp /test/test.txt /test/cp-copyFromLocal
从本地复制文件到hdfs文件系统（与-put命令相似）
Usage: hdfs dfs -copyFromLocal < localsrc> URI
选项：如果目标已存在，则-f选项将覆盖目标。
示例：
hdfs dfs -copyFromLocal /data/local/test.txt /test/cp-copyToLocal
复制hdfs文件系统中的文件到本地 （与-get命令相似）
Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>
示例：
hdfs dfs -copyToLocal /test/test.txt /data/local-rm
删除一个文件或目录
Usage：hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]
选项：如果文件不存在，-f选项将不显示诊断消息或修改退出状态以反映错误。
-R选项以递归方式删除目录及其下的任何内容。
-r选项等效于-R。
-skipTrash选项将绕过垃圾桶（如果已启用），并立即删除指定的文件。当需要从超配额目录中删除文件时，这非常有用。
示例：
hdfs dfs -rm /test/test.txt-grep
从hdfs上过滤包含某个字符的行内容示例：
hdfs dfs -cat /test/test.txt | grep '过滤字段'-tail
显示文件的最后1kb内容到标准输出
Usage：hdfs dfs -tail [-f] URI
选项：-f选项将在文件增长时输出附加数据，如在Unix中一样。示例：
hdfs dfs -tail -f /test/test.txt-cat
显示文件内容到标准输出上。
Usage：hdfs dfs -cat URI [URI …]示例：
-
hdfs dfs -cat/test/test.txt
File System Shell Guide. https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html
HDFS Commands Guide
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#dfs
以上是关于Hadoop-hdfs dfs常用命令的主要内容，如果未能解决你的问题，请参考以下文章