HDFS

Posted 2020-12-14 liguangyang

HDFS基本操作

hdfs dfsadmin查看命令

hdfs基本操作

查看目录

 hdfs dfs -ls/ [-d] [-h] [-r] 大写             

-d:将path作为一个普通文件输出文件信息

-h格式化输出文件及目录信息

-r递归列出目录下的内容

新建文件 创建 递归创建

 hdfs dfs -mkdir -p /usr/root/txtdir

上传文件

 hdfs dfs -put [-f] [-p] [-l] <本地路径> <目标路径>
 hdfs dfs -put /opt/a.txt /usr/root//txtdir

-f覆盖目标路径，如果存在的话

-p保留文件原有的属性及权限

-l允许DataNode延迟持久化文件到磁盘

查看文件

 hdfs dfs -cat /usr/root/txtdir/a.txt

合并本地小文件并上传

 hdfs dfs -appendToFile a.txt b.txt /usr/root/txtdir/merge.txt

把服务器上的文件合并下载到本地

 hdfs dfs -getmerge /usr/root/txtdir /opt/merge

直接下载用-get

删除文件

 hdfs dfs [-rm [-f] [-r] <src>]

[-r]递归删除

[-f]文件不存在不要显示诊断信息

1、HDFS的基本命令格式为：

命令：hdfs dfs -cmd <args>

注：cmd就是具体的命令，cmd前面的“-”千万不能省略。

本人已经设置了环境变量，则可以在任意的路径下可直接使用hdfs，否则进入hadoop安装路径HADOOP_HOME后，使用如下指令：./bin/hdfs dfs -cmd <args>

2、列出文件目录：

命令：hdfs dfs -ls 路径

3、在HDFS创建文件夹：

命令：hdfs dfs -mkdir 文件夹名称

命令：级联创建一个文件夹，即类似这样一个目录：/mybook/input，则 hdfs fs -mkdir -p 文件夹名称

4、上传文件至HDFS

命令：hdfs dfs -put 源路径 目标存放路径

5、从HDFS上下载文件

命令：hdfs dfs -get HDFS文件路径 本地存放路径

6、查看HDFS上某个文件的内容

命令：hdfs dfs -text(或cat) HDFS上的文件存放路径

7、统计目录下各文件的大小（单位：字节B）

命令：hdfs dfs -du 目录路径

8、删除HDFS上某个文件或者文件夹

命令：hdfs dfs -rm 文件存放文件

hdfs dfs -rm -r 文件存放文件

9、使用help命令寻求帮助

命令：hdfs dfs -help 命令