云计算--hdfs dfs 命令

Posted 2020-09-22 悉宇馨

在hadoop安装目录下：/hadoop2/hadoop-2.7.3

1.创建目录

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir /user/<username>

在HDFS中创建一个名为path的目录，如果它的上级目录不存在，也会被创建，如同linux中的mkidr –p。

bin/hdfs dfs -mkdir -p /usr/file

2.将本地文件或目录（eg:/home/grid/redis-2.8.12.tar.gz)上传到HDFS中的路径( /usr/file)。

bin/hdfs dfs -put /home/grid/redis-2.8.12.tar.gz /usr/file

bin/hdfs dfs -put etc/hadoop input

3.将文件或目录从HDFS中的路径(/usr/file/redis-2.8.12.tar.gz)拷贝到本地文件路径(/usr/local)。

bin/hdfs dfs -get /usr/file/redis-2.8.12.tar.gz /usr/local

4.查看目录下内容，包括文件名，权限，所有者，大小和修改时间

bin/hdfs dfs -ls /usr/file

5.与ls相似，但递归地显示子目录下的内容。

bin/hdfs dfs -ls  -R /usr/file

 

6.显示path下所有文件磁盘使用情况下，用字节大小表示，文件名用完整的HDFS协议前缀表示。

bin/hdfs dfs -du /usr/file

 

7.与-du相似，但它还显示全部文件或目录磁盘使用情况

bin/hdfs dfs -du -s /usr/file

 

8.在HDFS中，将文件或目录从HDFS的源路径移动到目标路径。

bin/hdfs dfs -mv /usr/file/redis-2.8.12.tar.gz /usr

 

9.在HDFS中，将/usr/redis-2.8.12.tar.gz文件或目录复制到/usr/file

bin/hdfs dfs -cp /usr/redis-2.8.12.tar.gz /usr/file

10.删除一个文件或目录

bin/hdfs dfs -rm -skipTrash /usr/redis-2.8.12.tar.gz

删除一个文件或递归删除目录

bin/hdfs dfs -rmr -skipTrash /usr/redis-2.8.12.tar.gz

 

11.显示文件内容到标准输出上。

bin/hdfs dfs -cat /usr/file/test.txt

 

12.创建一个文件。时间戳为当前时间，如果文件本就存在就失败，除非原文件长充为0。

bin/hdfs dfs -touchz /usr/file/test.txt

 

13.显示文件所占块数(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)。

bin/hdfs dfs -stat /usr/file/file

 

14.显示文件最后的1KB内容到标准输出。

bin/hdfs dfs -tail /usr/file/test.txt

 

15.显示cmd命令的使用信息，你需要把命令的“-”去掉

bin/hdfs dfs -help tail

 

16.统计文件(夹)数量

bin/hdfs dfs -count /usr

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar grep input output ‘dfs[a-z.]+??
bin/hdfs dfs -get output output