HDFS的shell命令简介

Posted 2022-05-17 J哥.

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HDFS的shell命令简介相关的知识，希望对你有一定的参考价值。

一、HDFS的shell命令简介

我们都知道HDFS 是存取数据的分布式文件系统，那么对HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。
我们在执行HDFS的shell操作的时候，一定要确定hadoop 是正常运行的，我们可以使用使用jps 命令确保看到各个hadoop 进程。
我们可以执行命令hadoop fs，来查看HDFS的shell操作的所有命令如下。

[root@hadoop ~]# hadoop fs
Usage: java FsShell
[-ls ]
[-lsr ]
[-du ]
[-dus ]
[-count[-q] ]
[-mv ]
[-cp ]
[-rm [-skipTrash] ]
[-rmr [-skipTrash] ]
[-expunge]
[-put … ]
[-copyFromLocal … ]
[-moveFromLocal … ]
[-get [-ignoreCrc] [-crc] ]
[-getmerge [addnl]]
[-cat ]
[-text ]
[-copyToLocal [-ignoreCrc] [-crc] ]
[-moveToLocal [-crc] ]
[-mkdir ]
[-setrep [-R] [-w] <path/file>]
[-touchz ]
[-test -[ezd] ]
[-stat [format] ]
[-tail [-f] ]
[-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…]
[-chown [-R] [OWNER][:[GROUP]] PATH…]
[-chgrp [-R] GROUP PATH…]
[-help [cmd]]

二、HDFS的shell操作命令选项

选项名称	使用格式	含义
-ls	-ls <路径>	查看指定路径的当前目录结构
-lsr	-lsr <路径>	递归查看指定路径的目录结构
-du	-du <路径>	统计目录下各文件大小
-dus	-dus <路径>	汇总统计目录下文件(夹)大小
-count	-count [-q] <路径>	统计文件(夹)数量
-mv	-mv <源路径> <目的路径>	移动
-cp	-cp <源路径> <目的路径>	复制
-rm	-rm [-skipTrash] <路径>	删除文件/空白文件夹
-rmr	-rmr [-skipTrash] <路径>	递归删除
-put	-put <多个linux上的文件> <hdfs 路径>	上传文件
-copyFromLocal	-copyFromLocal <多个linux 上的文件> <hdfs 路径>	从本地复制
-moveFromLocal	-moveFromLocal <多个linux 上的文件> <hdfs 路径>	从本地移动
-getmerge	-getmerge <源路径> <linux 路径>	合并到本地
-cat	-cat <hdfs 路径>	查看文件内容
-text	-text <hdfs 路径>	查看文件内容
-copyToLocal	-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路径] [linux 目的路径]	复制到本地
-moveToLocal	-moveToLocal [-crc] <hdfs 源路径> <linux目的路径>	移动到本地
-setrep	-setrep [-R] [-w] <副本数> <路径>	修改副本数量
-mkdir	-mkdir <hdfs 路径>	创建空白文件夹
-touchz	-touchz <文件路径>	创建空白文件
-stat	-stat [format] <路径>	显示文件统计信息
-tail	-tail [-f] <文件>	查看文件尾部信息
-chmod	-chmod [-R] <权限模式> [路径]	修改权限
-chown	-chown [-R] [属主][:[属组]]路径	修改属主
-chgrp	-chgrp [-R] 属组名称路径	修改属组
-help	-help -help [命令选项]	帮助

三、各命令选项的用法

1. ls 显示当前目录结构

(1) 该命令选项表示查看指定路径的当前目录结构，后面跟hdfs 路径，如果下图所示

我们解释一下每一行的内容格式：

① 首字母表示文件夹(如果是“d”)还是文件（如果是“-”）；
② 后面的9 位字符表示权限；
③ 后面的数字或者“-”表示副本数。如果是文件，使用数字表示副本数；文件夹没有副本；
④ 后面的“root”表示属主；
⑤ 后面的“supergroup”表示属组；
⑥ 后面的“0”、“ 84927175”表示文件大小，单位是字节；
⑦ 后面的时间表示修改时间，格式是年月日时分；
⑧ 最后一项表示文件路径。
可见根目录下面有1个文件夹、1个文件。

(2) 如果该命令选项后面没有路径，那么就会访问/user/<当前用户>目录。我们使用root用户登录，因此会访问hdfs 的/user/root 目录，但是如果没有这个目录/user/root，会提示文件不存在的错误如图3.1所示，添加该目录后再次执行该命令如图3.2,3.3所示。