HDFS常用Shell命令

Posted 2021-08-09 小康新鲜事儿

 你再主动一点点   我们就有故事了

基本语法:hadoop fs 具体命令

1. 查看目录

# 显示目录结构
hadoop fs -ls <path>
# 以人性化的方式递归显示目录结构
hadoop fs -ls  -R -h <path>
# 显示根目录下内容
hadoop fs -ls /

2. 创建目录

# 创建目录
hadoop fs -mkdir <path> 
# 递归创建目录
hadoop fs -mkdir -p <path> 

3. 删除操作

# 删除文件
hadoop fs -rm <path>
# 递归删除目录和文件
hadoop fs -rm -R <path> 

4. 拷贝操作

hadoop fs -cp [-f] [-p] <src> <dst>
-f ：当文件存在时，进行覆盖
-p ：将权限、所属组、时间戳、ACL以及XAttr等也进行拷贝

5. 移动文件（重命名）

hadoop fs -mv <src> <dst>

6. 从本地加载文件到HDFS

# 二选一执行即可
hadoop fs -put <localsrc> <dst>
hadoop fs -copyFromLocal <localsrc> <dst>

7. 从HDFS导出文件到本地

# 二选一执行即可
hadoop fs -get <src> <localdst>
hadoop fs -copyToLocal <src> <localdst>

8. 查看文件内容

# 二选一执行即可
hadoop fs -cat <path> 
#将HDFS中文件以文本形式输出（包括zip包，jar包等形式）
hadoop fs -text <path> 

9. 显示文件的最后一千字节

hadoop fs -tail <path>
#和Unix中tail -f命令类似，当文件内容更新时，输出将会改变，具有实时性
hadoop fs -tail -f <path>

10. 统计目录下各文件大小

hadoop fs -du <path>
-s : 显示所有文件大小总和
-h : 将以更友好的方式显示文件大小（例如 64.0m 而不是 67108864）

11. 合并下载多个文件

hadoop fs -getmerge
# 示例 将HDFS上的wordcount_input.txt和go文件合并后下载到本地的/root/getmerge.txt
[xiaokang@hadoop hadoop-2.7.7]$ sudo bin/hadoop fs -getmerge -nl /xiaokang/wordcount_input.txt /test/data_test/go /root/getmerge.txt
-nl 在每个文件的末尾添加换行符（LF）
-skip-empty-file 跳过空文件

12. 统计文件系统的可用空间

hadoop fs -df -h /

13. 改变文件复制因子

#更改文件的复制因子。如果 path 是目录，则更改其下所有文件的复制因子
hadoop fs -setrep [-w] <numReplicas> <path>
-w : 请求命令是否等待复制完成
#示例
hadoop fs -setrep -w 3 /user/hadoop/dir1

14. 权限控制

# 权限控制和Linux上使用方式一致
# 变更文件或目录的所属群组。 用户必须是文件的所有者或超级用户。
hadoop fs -chgrp [-R] GROUP URI [URI ...]
# 修改文件或目录的访问权限  用户必须是文件的所有者或超级用户。
hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
# 修改文件的拥有者  用户必须是超级用户。
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

15. 文件检测

hadoop fs -test -[defsz] URI
-d：如果路径是目录，返回 0
-e：如果路径存在，则返回 0
-f：如果路径是文件，则返回 0
-s：如果路径不为空，则返回 0
-r：如果路径存在且授予读权限，则返回 0
-w：如果路径存在且授予写入权限，则返回 0
-z：如果文件长度为零，则返回 0

更多命令请参考官方网址：https://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/FileSystemShell.html

如果这篇文章对你有帮助的话，就顺手点个在看，支持一下叭感谢各位！

点击下面“王卡免流”查看黑科技

自己动手，丰衣足食

点击下方“留言墙”给小康留言