HDFS基础操作指令

Posted 2021-03-05 pbd2020

一.文件操作

文件操作 类似于正常的linux操作前面加上“hdfs dfs -”

前缀也可以写成hadoop而不用hdfs,但终端中显示

Use of this script to execute hdfs command is deprecated.

Instead use the hdfs command for it.

1.创建目录：(注意 文件夹需一级一级创建)

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/com

hdfs dfs -mkdir /user/com/evor

2.删除文件目录

hdfs dfs -rm -r /user/com/evor  （-rmr也可以） 删除文件夹下所有东西 rm的递归版本

hdfs dfs -rm /user/com/evor/hadoop.txt　　删除文件

3.上传文件

1）hdfs dfs -put  /本/地/路/径/spark.jar   /user/com/evor

2）hdfs dfs -copyFromLocal  /本/地/路/径/spark.jar   /user/com/evor 

区别 copyFromLocal 限定源路径为本地的路径，其他与-put相同

4.下载文件

复制文件到本地

1) hdfs dfs -get /user/com/evor/spark.jar   /本/地/路/径

2) hdfs dfs -copyToLocal  /user/com/evor/spark.jar   /本/地/路/径

区别 copyToLocal 限定目标路径为本地的路径，其他与-get相同

5.查看文件

我们可以直接在hdfs中直接查看文件，功能与cat类似

将路径指定文件的内容输出到stdout。

hdfs dfs -cat /user/com/evor/hadoop.txt   

hadoop fs -cat hdfs://host1:port1/file1  hdfs://host2:port2/file2

hadoop fs -cat file:///file3   /user/hadoop/file4

6.修改权限

hdfs dfs -chmod 777 /user/com/evor/WordCount.sh  

hadoop fs -ls -R / 查看全部目录