HDFS常用命令

Posted 2020-12-18 realman9527

1.-help : 输出这个命令的相关参数用法

　　hadoop fs -help rm (删除的相关用法)

2.-ls : 显示目录信息

　　hadoop fs -ls /

　　递归查看 hadoop fs -ls -R /

3.-mkdir: 在hdfs上创建目录

　　hadoop fs -mkdir -p /a/aa

4.-moveFromLocal: 从本地剪切粘贴到hdfs

　　touch create.txt

　　hadoop fs -moveFromLocal ./create.txt /a/aa

5.-appendToFile: 追加一个文件到已经存在的文件末尾

　　touch append.txt

　　vi append.txt

　　　　添加内容

　　　　append content

　　hadoop fs -appendToFile ./append.txt /a/aa/create.txt

6.-cat: 显示文件内容

　　hadoop fs -cat /a/aa/create.txt

7.-chgrp、-chmod、-chown: linux文件系统中的用法一样，修改文件所属权限

　　hadoop fs -chmod 666 /a/aa/create.txt

　　hadoop fs -chown hadoop:hadoop /a/aa/create.txt

8.-copyFromLocal: 从本地文件系统中拷贝文件到HDFS路径去

　　hadoop fs -copyFromLocal readme.txt /a/aa

9.-copyToLocal: 从HDFS拷贝到本地

 　　本地创建个download文件夹 mkdir download/

　　hadoop fs -copyToLocal /a/aa/create.txt download/

10.-cp: 从HDFS的一个路径拷贝到HDFS的另一个路径 

　　hadoop fs -cp /a/aa/create.txt /a/aaa.txt

11.-mv: 在HDFS目录中移动 文件

　　hadoop fs -mv /a/aaa.txt /a/aa/

　　

12.-get: 等同于copyToLocal，从HDFS下载文件到本地

　　hadoop fs -get /a/aa/create.txt download/

13.-getmerge: 合并下载多个文件， 比如HDFS的目录/a/aa下有多个文件

　　hadoop fs -getmerge /a/aa/* download/merge.txt

　　

14.-put: 等同于copyFromLocal

　　hadoop fs -put download/merge.txt /a/aa

15:-tail: 显示一个文件的末尾

　　hadoop fs -tail /a/aa/create.txt

16.-rm: 删除文件或文件夹

　　hadoop fs -rm /a/aa/readme.txt

　　删除有文件的文件夹

　　hadoop fs -rm -R /a/aa

17.-rmdir:删除空目录

　　hadoop fs -mkdir /a/ab

　　hadoop fs -rmdir /a/ab

18.-du: 统计文件夹的大小信息

　　hadoop fs -du -s -h /a/aa

19.-setrep: 设置HDFS中文件的副本数据 

　　hadoop fs -setrep 10 /a/aa/create.txt

　　设置副本数据 只是记录在NameNode的元数据中， 因为目录只设置了3台设备，最多也就只能生成3个副本，只有节点数增加到10台时，副本才能达到10