HDFS常用命令

Posted realman9527

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS常用命令相关的知识,希望对你有一定的参考价值。

1.-help : 输出这个命令的相关参数用法

  hadoop fs -help rm (删除的相关用法)

2.-ls : 显示目录信息

  hadoop fs -ls /

  递归查看 hadoop fs -ls -R /

3.-mkdir: 在hdfs上创建目录

  hadoop fs -mkdir -p /a/aa

4.-moveFromLocal: 从本地剪切粘贴到hdfs

  touch create.txt

  hadoop fs -moveFromLocal ./create.txt /a/aa

5.-appendToFile: 追加一个文件到已经存在的文件末尾

  touch append.txt

  vi append.txt

    添加内容

    append content

  hadoop fs -appendToFile ./append.txt /a/aa/create.txt

6.-cat: 显示文件内容

  hadoop fs -cat /a/aa/create.txt

7.-chgrp、-chmod、-chown: linux文件系统中的用法一样,修改文件所属权限

  hadoop fs -chmod 666 /a/aa/create.txt

  hadoop fs -chown hadoop:hadoop /a/aa/create.txt

8.-copyFromLocal: 从本地文件系统中拷贝文件到HDFS路径去

  hadoop fs -copyFromLocal readme.txt /a/aa

9.-copyToLocal: 从HDFS拷贝到本地

   本地创建个download文件夹 mkdir download/

  hadoop fs -copyToLocal /a/aa/create.txt download/

10.-cp: 从HDFS的一个路径拷贝到HDFS的另一个路径 

  hadoop fs -cp /a/aa/create.txt /a/aaa.txt

11.-mv: 在HDFS目录中移动 文件

  hadoop fs -mv /a/aaa.txt /a/aa/

  技术图片

12.-get: 等同于copyToLocal,从HDFS下载文件到本地

  hadoop fs -get /a/aa/create.txt download/

13.-getmerge: 合并下载多个文件, 比如HDFS的目录/a/aa下有多个文件

  hadoop fs -getmerge /a/aa/* download/merge.txt

  技术图片

14.-put: 等同于copyFromLocal

  hadoop fs -put download/merge.txt /a/aa

15:-tail: 显示一个文件的末尾

  hadoop fs -tail /a/aa/create.txt

16.-rm: 删除文件或文件夹

  hadoop fs -rm /a/aa/readme.txt

  删除有文件的文件夹

  hadoop fs -rm -R /a/aa

17.-rmdir:删除空目录

  hadoop fs -mkdir /a/ab

  hadoop fs -rmdir /a/ab

18.-du: 统计文件夹的大小信息

  hadoop fs -du -s -h /a/aa

19.-setrep: 设置HDFS中文件的副本数据 

  hadoop fs -setrep 10 /a/aa/create.txt

  设置副本数据 只是记录在NameNode的元数据中, 因为目录只设置了3台设备,最多也就只能生成3个副本,只有节点数增加到10台时,副本才能达到10

 

 

  

以上是关于HDFS常用命令的主要内容,如果未能解决你的问题,请参考以下文章

HDFS常用Shell命令

HDFS常用命令整理

HDFS常用命令

hdfs常用命令

HDFS常用文件操作命令汇总

每日一题写出你常用的HDFS命令?(京东)