HDFS常用命令

Posted 2021-01-08 zyw756

创建目录，默认只有user这一层目录，所以应该新建一个当前登录用户的目录

hadoop fs -mkdir /user/hadoop

 

查看user下的文件信息

hadoop fs -ls /user

 

查看user下的文件信息（包括其子目录下的文件信息）(递归的)

hadoop fs -lsr /user   

 

把本地文件放到hdfs上

hadoop fs -put /home/mytest/test.txt /user/hadoop

 

把本地文件放到hdfs上(目录为默认目录，即/user/$USER，此目录若不存在需要创建)

hadoop fs -put test.txt .  (复制到hdfs当前目录下，首先要创建当前目录)

 

把hdfs上的文件复制到本地当前目录下

 

hadoop fs -get /user/hadoop/test.txt . (复制到本地当前目录下)

 

查看hdfs上的文件内容

hadoop fs -cat /user/hadoop/test.txt

hadoop fs -text /user/hadoop/test.txt

 

删除hdfs上面的文件

hadoop fs -rm /user/hadoop/test.txt

 

hadoop fs -rmr /user/hadoop/data (递归删除data目录下的所有文件夹，包括data目录)

 

查看hdfs上文件的最后1000字节

hadoop fs -tail /user/hadoop/test.txt  (查看最后1000字节)

 

删除hdfs上的文件

hadoop fs -rm /user/hadoop/test.txt

 

查看文件的大小或当前目录下所有文件的大小

hadoop fs -du /user/hadoop/data.txt

 

hadoop fs -du /user/hadoop

 

移动hdfs下的文件或重命名

hadoop fs -mv /user/hadoop/data.txt /user/hadoop/result.txt

 

复制hdfs下的文件到别的目录

hadoop fs -cp /user/hadoop/data.txt /user/result/result.txt

 

创建一个空文件

hadoop fs -touchz /user/hadoop/data.txt

 

查看帮助命令

hadoop fs -help ls (查看ls命令的帮助文档)

 

退出安全模式

hadoop dfsadmin -safemode leave

 

进入安全模式

hadoop dfsadmin -safemode enter

 

查看hdfs统计信息

hadoop dfsadmin -report