hdfs的shell操作

Posted _蒲公英_

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hdfs的shell操作相关的知识,希望对你有一定的参考价值。

1.shell的操作命令

  hdfs命令有两种风格:hadoop fs、hdfs dfs

  两种命令均可使用,效果相同。

  1)查看子命令

    hadoop fs、hdfs dfs

    

   2)如果查看hdfs或hadoop子命令信息

    hdfs dfs -help shellCmd

    hadoop fs -help shellCmd

    ex:hdfs dfs -help ls 、hadoop fs -help ls

  3)查看hdfs文件系统中指定目录文件列表。

    hdfs dfs -ls dir

    hadoop fs -ls dir

    hdfs dfs -ls -R dir #递归显示,显示子文件夹中的文件

    ex:hdfs dfs -ls / #显示根目录下的文件以及文件夹

      hadoop fs -ls -R / #显示根目录了下所有文件件以及所有子文件夹中的文件

      hdfs fs -ls file:/// #列出linux根目录下的文件

   4)创建文件

    hdfs dfs -touchz file

    hadoop fs -touchz file

    ex:hdfs dfs -touchz /edits.txt #根目录下创建edits.txt

  5)向hdfs中文件追加内容

    hdfs dfs -appendToFile linuxFile hdfsFile #将本地linuxFile内容追加到Hdfs的hdfsFile中

    hadoop fs -appendToFIle linuxFile hdfsFile

    ex:hadoop dfs -appendToFile edits.xml /edits.txt #本地edits.xml内容追加到hdfs中根目录下的edits.txt

  6)查看hdfs文件内容

    hdfs dfs -cat file

    hadoop fs -cat file

    hdfs dfs -cat /edits.txt 查看根目录下 edits.txt内容

  7)从本地路径上传文件只HDFS

    hdfs dfs -put linux文件 hdfs路径

    hadoop fs -put linux文件 hdfs路径

    hadoop fs -put /abc.txt / #把linux根目录下的abc.txt上传到hdfs根目录下

    hdfs dfs -copyFromLocal linux文件 hdfs路径

    hadoop fs -copyFromLocal linux文件 hdfs路径

    hdfs dfs -copyFromLocal /acb.txt / #跟put一样  把linux根目录下的abc.txt上传到hdfs根目录下

    hdfs dfs -moveFromLocal linux文件 hdfs路径

    hadoop fs -moveFromLocal linux文件 hdfs路径

    hadoop fs -moveFromLocal /abc.txt / #把linux根目录下的abc.txt上传到hdfs根目录下 与put差异是会把linux的文件删除

  8)从文件系统中下载文件

    hdfs dfs -get hdfs文件 linux路径

    hadoop fs -get hdfs文件 linux路径

    hdfs dfs -get /abc.txt / #把hdfs根目录下的abc.txt 下载到linux的根目录下

    hdfs dfs -copyToLocal hdfs文件 linux路径

    hadoop fs -copyToLocal hdfs文件 linux路径

    hadoop fs -copyToLocal /abc.txt / #与-get相同,把hdfs根目录下的abc.txt下载到linux的根目录下

  9)在hdfs中创建文件夹

    hdfs dfs -mkdir 文件夹

    hadoop fs -mkdir 文件夹

    hdfs dfs -mkdir /shell #在hdfs根目录下创建shell文件夹

  10)删除hdfs中的文件

    hdfs dfs -rm 文件

    hadoop fs -rm 文件

    hdfs dfs -rm /abc.txt #删除hdfs根目下的abc.txt

    hadoop fs -rm -r /shell #删除hdfs根目录下的shell文件夹

  11)修改hdfs中文件名称或修改所属目录

    hdfs dfs -mv hdfs目录文件 hdfs目录文件

    hadoop fs -mv hdfs目录文件 hdfs目录文件

    hdfs dfs -mv /abc.txt /abc.txt /abc.md #将hdfs根目录下的abc.txt修改为abc.md

    hadoop fs -mv /abc.md /newdir #将hdfs根目录下的abc.md移动到根目录下的newdir文件夹中 

  12)把hdfs中的文件拷贝到新的目录

    hdfs dfs -cp 目录文件 目录

    hadoop fs -cp 目录文件 目录

    hdfs dfs -cp /abc.txt /shell #hdfs根目下的abc.txt 复制一份到hdfs根目录下的shell中

  13)查找文件

    hdfs dfs -find path 匹配模式 查找内容

    hadoop fs -find path 匹配模式 查找内容

    hdfs dfs -find / -name user #在hdfs的根目录下查找名称是user的文件,name:完全匹配

    hadoop fs -find / -iname us* #在hdfs的根目录下查找名称中带有us的文件,iname:模糊匹配

    

  14)总结:

    a)输入hadoop fs 或 hdfs dfs,回车查看所有的hdfs的HDFS命令

    b)大部分命令和linux命令有很大的相似性,可以举一反三

    c)记得使用help,ex:hadoop fs -help ls,查看ls的使用参数

 2.hdfs与getconf结合使用

  

  1)获取NameNode的节点名称

    hdfs getconf -namenodes

  2)获取hdfs最小快信息

    hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size #也可以获取其他的属性值

  3)查找namenode的RPC地址

    hdfs getconf -nnRpcAddresses

3.hdfs与dfsadmin结合使用

  

  1)查看hdfs dfsadmin的帮助信息

    hdfs dfsadmin

  2)使用help查看具体命令的帮助

    hdfs dfsadmin -help 命令

    ex:hdfs dfsadmin -help safemode

  3)查看当前模式

    hdfs dfsadmin -safemode get

  4)进入、退出安全模式

    hdfs dfsadmin -safemode enter #进入

    hdfs dfsadmin -safemode leave #退出

4.hdfs与fsck结合

  

  fsck指令显示HDFS块信息

  hdfs fsck /abc.txt -files -blocks -locations #查看hdfs根目录下abc.txt的块信息

 5.其他命令

  1)检查压缩库本地安装情况

    hadoop checknatice

  2)格式化名称节点(慎用:一般只在初次搭建集群使用一次,格式化话成功后不要在使用,多次格式化可能会导致namenode与datanode的clusterID不一致导致datanode无法启动,需要保持一致)

    hadoop namenode -format

  3)执行自定义jar包

    hadoop jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar pi 10 10

    yarn jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar pi 10 10

以上是关于hdfs的shell操作的主要内容,如果未能解决你的问题,请参考以下文章

HDFS入门—— HDFS的Shell操作(包含漫威彩蛋)

大数据技术之Hadoop(HDFS)概述Shell操作API操作读写流程工作机制

大数据技术之Hadoop(HDFS)概述Shell操作API操作读写流程工作机制

Hadoop框架之HDFS的shell操作

HDFS的shell和API操作

大数据讲课笔记4.3 HDFS的shell操作