HDFS常用Shell命令

Posted 2021-12-07 雷米恩

目录

HDFS帮助命令

HDFS文件操作命令

HDFS管理命令

HDFS安全模式

---

大多数HDFS Shell命令的行为和对应的Unix  Shell命令类似，主要不同之处是HDFS Shell命令操作的是远程Hadoop服务器的文件，而Unix Shell命令操作的是本地文件。HDFS Shell开头式可以是hadoop fs或者hdfs -dfs。

HDFS帮助命令

-help：显示命令的帮助信息

HDFS文件操作命令

-mkdir：创建文件夹

-ls：显示当前目录下所有文件

 

-du：显示目录中所有文件的大小

 

-count：显示目录中文件数量

-touchz：创建一个空文件

 

-mv <src> <loacldst>：移动多个文件到目标文件/修改文件名称

先将文件folder1改名为folder4并且将文件raymone移动到folder4的目录下

 

-cp <src> <loacldst>：复制多个文件到目标文件

 

-rm：删除文件（-rm -r相当于Linux中的rm -rf）

删除多个文件 folder3 folder4

 

-put <localsrc> <dst>：本地文件复制到HDFS

 

-copyFromLocal：与put命令类似，但是源文件localsrc拷贝之后自身被删除

-moveFromLocal：从本地文件移动到HDFS

-cat：在终端显示文件内容

-text：在终端显示文件内容

这是一个MR案例输出的数据文本

-copyToLocal <src> <localdst>：复制到本地

-chmod：改变文件权限（使用者必须是文件所有者或者超级用户root）

HDFS管理命令

hadoop dfsadmin -safemode enter：进入Safemode模式

hadoop dfsadmin -safemode get：获取当前运行模式

hadoop dfsadmin -safemode leave：退出Safemode模式

HDFS安全模式

NameNode在启动时会自动进入安全模式，安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改，只接受读数据要求。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性，同时根据策略对数据块进行必要的复制或删除，当数据块副本数满足最小副本数条件时，会自动退出安全模式。需要注意的是：HDFS进入安全模式后会导致Hive和Hbase的启动异常。