Hadoop HDFS命令
Posted 木北鲜生
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop HDFS命令相关的知识，希望对你有一定的参考价值。
HDFS命令对HDFS进行操作
HDFS命令与linux命令类似
所有命令有/bin/hadoop脚本引发，可以使用命令查看帮助文档
hadoop fs-help
使用HDFS命令之前，必须启动hadoop集群，且命令执行在master节点上
hadoop常用命令
格式：
hadoop fs -命令 [-选项] [文件/目录]
| 命令 | 说明 | 补充 |
|---|---|---|
| hadoop fs -mkdir | 创建HDFS目录 | -p选项，可以一次性创建多级目录 |
| hadoop fs -ls | 列出HDFS目录 | -R选项，查看目录下所有的文件（递归Recursive) hadoop fs –ls /查看HDFS根目录 hadoop fs –ls –R /查看HDFS所有子目录 |
| hadoop fs -copyFromLocal | 上传本地文件到HDFS | -f选项，强制复制（存在则替换文件） |
| hadoop fs -put | 上传本地文件到HDFS | -f选项，强制复制（存在则替换文件），特别的可以写入内容 |
| hadoop fs -copyToLocal | 将HDFS文件下载到本地 | |
| hadoop fs -get | 将HDFS文件下载到本地 | |
| hadoop fs -cp | 复制HDFS文件 | |
| hadoop fs -rm | 删除HDFS文件 | -R选项，删除目录 |
| hadoop fs -cat | 查看HDFS目录下的文件内容 | （只有文本文件的内容可以查看，其它类型会乱码） hadoop fs –test查看文件 hadoop fs –tail查看文件 |
Linux本机和HDFS之间文件传输
即虚拟机linux的文件与hadoop的HDFS文件之间的文件共享
上传文件（linux—>hdfs）
hadoop fs -copyFromLocal [linux] [hdfs]
hadoop fs -put [linux] [hdfs]
可以进行文件重命名
hdfs没有写文件名，默认为原来的命名
linux上传的文件必须存在
hdfs已经存在文件，不会上传，使用下面选项，强制上传
-f选项，强制复制（存在则替换文件）
可以上传多个文件
可以上传目录
-put命令，还可以接收输入stdin
将指定内容显示在屏幕上：echo [内容]
通过"|"（管道符pipe）将屏幕的内容传递存入文件
echo abc | hadoop fs -put - /test/echoin.txt
ls ./hadoop—/etc/hadoop | hadoop fs -put - /test/hadoopetc.txt
文件下载（hdfs—>linux）
hadoop fs -copyToLocal [hdfs] [linux]
hadoop fs -get [hdfs] [linux]
可以进行文件重命名
hdfs下载的文件必须存在
可以下载目录
linux命令
| 命令 | 说明 |
|---|---|
| cd 目录 | 进入目录(.表示当前目录，…表示上层目录) |
| ls [选项] 目录或文件 | 列出目录[-l -a -R -d -i -h] |
| cat [选项] 文件名 | 查看文件内容[-n -b -s] |
| mkdir [选项] 目录名 | 创建文件夹[-p] |
| rm [选项] 文件或目录 | 删除文件夹[-f -r -i] |
| cp [选项] 源文件或目录 目标文件或目录 | 复制文件夹[-p -f -r -i] |
| mv [选项] 源文件或目录 目标文件或目录 | 移动文件夹[-f -i -u] |
| pwd | 显示当前工作目录的绝对路径 |
开发者涨薪指南
48位大咖的思考法则、工作方式、逻辑体系
以上是关于Hadoop HDFS命令的主要内容，如果未能解决你的问题，请参考以下文章