Hadoop HDFS命令

Posted 木北鲜生

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop HDFS命令相关的知识,希望对你有一定的参考价值。

HDFS命令对HDFS进行操作

HDFS命令与linux命令类似

所有命令有/bin/hadoop脚本引发,可以使用命令查看帮助文档

hadoop fs-help

使用HDFS命令之前,必须启动hadoop集群,且命令执行在master节点上

hadoop常用命令

格式:

hadoop fs -命令 [-选项] [文件/目录]

命令说明补充
hadoop fs -mkdir创建HDFS目录-p选项,可以一次性创建多级目录
hadoop fs -ls列出HDFS目录-R选项,查看目录下所有的文件(递归Recursive)
hadoop fs –ls /查看HDFS根目录
hadoop fs –ls –R /查看HDFS所有子目录
hadoop fs -copyFromLocal上传本地文件到HDFS-f选项,强制复制(存在则替换文件)
hadoop fs -put上传本地文件到HDFS-f选项,强制复制(存在则替换文件),特别的可以写入内容
hadoop fs -copyToLocal将HDFS文件下载到本地
hadoop fs -get将HDFS文件下载到本地
hadoop fs -cp复制HDFS文件
hadoop fs -rm删除HDFS文件-R选项,删除目录
hadoop fs -cat查看HDFS目录下的文件内容(只有文本文件的内容可以查看,其它类型会乱码)
hadoop fs –test查看文件
hadoop fs –tail查看文件

Linux本机和HDFS之间文件传输

即虚拟机linux的文件与hadoop的HDFS文件之间的文件共享

上传文件(linux—>hdfs)

hadoop fs -copyFromLocal [linux] [hdfs]
hadoop fs -put [linux] [hdfs]

可以进行文件重命名
hdfs没有写文件名,默认为原来的命名
linux上传的文件必须存在
hdfs已经存在文件,不会上传,使用下面选项,强制上传
-f选项,强制复制(存在则替换文件)
可以上传多个文件
可以上传目录

-put命令,还可以接收输入stdin

将指定内容显示在屏幕上:echo [内容]
通过"|"(管道符pipe)将屏幕的内容传递存入文件

echo abc | hadoop fs -put - /test/echoin.txt
ls ./hadoop—/etc/hadoop | hadoop fs -put - /test/hadoopetc.txt

文件下载(hdfs—>linux)

hadoop fs -copyToLocal [hdfs] [linux]
hadoop fs -get [hdfs] [linux]

可以进行文件重命名
hdfs下载的文件必须存在
可以下载目录

linux命令

命令说明
cd 目录进入目录(.表示当前目录,…表示上层目录)
ls [选项] 目录或文件列出目录[-l -a -R -d -i -h]
cat [选项] 文件名查看文件内容[-n -b -s]
mkdir [选项] 目录名创建文件夹[-p]
rm [选项] 文件或目录删除文件夹[-f -r -i]
cp [选项] 源文件或目录 目标文件或目录复制文件夹[-p -f -r -i]
mv [选项] 源文件或目录 目标文件或目录移动文件夹[-f -i -u]
pwd显示当前工作目录的绝对路径
开发者涨薪指南 48位大咖的思考法则、工作方式、逻辑体系

以上是关于Hadoop HDFS命令的主要内容,如果未能解决你的问题,请参考以下文章

hadoop hdfs dfs 命令讲解

hadoop02-HDFS常用命令

hadoop fs(HDFS文件系统命令)

HDFS命令实现分析

何时使用hadoop fs,hadoop dfs与hdfs dfs命令

何时使用hadoop fs,hadoop dfs与hdfs dfs命令