hadoop常用命令

Posted 2022-10-22

1.常用命令

hdfs  dfs -ls / 

创建目录命令，逐级循环查看文件

hadoop fs -ls -R /tmp
hdfs fs -mkdir -p /user/root/input

修改所属组及用户

hadoop fs -chown -R root:root  /user/root/input 

统计文件数 文件夹数  文件大小

hadoop fs -count /

从linux上传文件到hadoop

hadoop fs -put file01 /user/root/input  
hadoop fs -copyFromLocal /root/install.log /user/root/input/

获取hadoop文件到linux系统

hadoop fs -get /user/root/input/file01  /root

查看hadoop中的文件

hadoop fs -cat /user/root/input/file01

或者使用以下命令也可以查看

hadoop fs -text output1/part-r-00000

合并多个文件（将/user/root/output1目录下的所有文件合并为 00.data）

hadoop fs -getmerge /user/root/output1 /lost+found/00.data

修改文件

hadoop fs -mv output1/part-r-00000  output1/part-r-000001

拷贝文件

hadoop fs -cp output1/part-r-000001  output1/part-r-000002

删除目录

hadoop fs -rm -r output1

删除hadoop中的文件

hadoop fs -rm /user/root/input/file01

查看统计信息

hadoop dfsadmin  -report

HDFS中fsck指令可以列出文件系统中各个文件由那些块构成

hadoop fsck / -files -blocks

获取帮助

hadoop fs -help

从本地文件系统将一个文件复制到hdfs

hadoop fs -copyFromLocal /lost+found/t_hft_1 hdfs://10.2.10.254:9000/user/root/input

管理命令

hdfs dfsadmin

2.进入和退出安全模式 Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]

hadoop dfsadmin -safemode enter
hadoop dfsadmin -safemode leave

3.在服务器上执行jar包

hadoop jar MyMapReduce-1.jar /user/root/input /user/root/output/count

4.运行hadoop自带的样例

hadoop jar hadoop-mapreduce-examples-2.6.3.jar wordcount /user/root/input/danci /user/root/output2
hadoop jar hadoop-mapreduce-examples-2.6.3.jar pi 10 100