Hadoop技术之HDFS shell操作
Posted 黑马程序员官方
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop技术之HDFS shell操作相关的知识，希望对你有一定的参考价值。
▼往期内容汇总：
一、HDFS shell命令行解释说明
介绍
命令行界面 (英语： command-line interface，缩写： CLI)，是指用户通过键盘输入指令，计算机接收到指令后，予以执行一种人际交互方式。
Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]
文件系统协议
HDFS Shell CLI支持操作多种文件系统，包括本地文件系统(file:///)、分布式文件系统(hdfs://nn:8020)等
具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。
如果没有指定前缀，则将会读取环境变量中的fs.defaultFS属性，以该属性值作为默认文件系统。
区别
hadoop dfs 只能操作HDFS文件系统(包括与Local FS间的操作)，不过已经Deprecated；
hdfs dfs 只能操作HDFS文件系统相关(包括与Local FS间的操作) ,常用；
hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广；
目前版本来看，官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。
参数说明
HDFS文件系统的操作命令很多和Linux类似， 因此学习成本相对较低。
可以通过hadoop fs -help命令来查看每个命令的详细用法。
二、HDFS shell命令行常用操作
1、创建文件夹
hadoop fs -mkdir [-p] <path> ...
path 为待创建的目录
-p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。
2、查看指定目录下内容
hadoop fs -ls [-h] [-R] [<path> ...]
path 指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录
3、上传文件到HDFS指定目录下
hadoop fs -put [-f] [-p] <localsrc> ... <dst>
-f 覆盖目标文件(已存在下)
-p 保留访问和修改时间， 所有权和权限。
localsrc 本地文件系统(客户端所在机器)
dst 目标文件系统(HDFS)
4、查看HDFS文件内容
hadoop fs -cat <src> ...
读取指定文件全部内容， 显示在标准输出控制台。
注意：对于大文件内容读取，慎重。
5、下载HDFS文件
hadoop fs -get [-f] [-p] <src> ... <localdst>
下载文件到本地文件系统指定目录， localdst必须是目录
-f 覆盖目标文件(已存在下)
-p 保留访问和修改时间， 所有权和权限。
6、拷贝HDFS文件
hadoop fs -cp [-f] <src> ... <dst>
-f 覆盖目标文件(已存在下) 
7、追加数据到HDFS文件中
hadoop fs -appendToFile <localsrc> ... <dst>
将所有给定本地文件的内容追加到给定dst文件。
dst如果文件不存在，将创建该文件。
如果<localSrc>为- ，则输入为从标准输入中读取。
8、 HDFS数据移动操作
hadoop fs -mv <src> ... <dst>
移动文件到指定文件夹下
可以使用该命令移动数据，重命名文件的名称
HDFS shell其他命令
命令官方指导文档
https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
友情提示
常见的操作自己最好能够记住， 其他操作可以根据需要查询文档使用。
命令属于多用多会， 孰能生巧， 不用就忘。
以上是关于Hadoop技术之HDFS shell操作的主要内容，如果未能解决你的问题，请参考以下文章
大数据技术之Hadoop（HDFS）概述Shell操作API操作读写流程工作机制
大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作(开发重点)+HDFS客户端操作(开发重点)+HDFS的数据流(面试重点)+NameNode和Seconda