recap basic command(hadoop)

Posted 2020-10-08 satyrs

• file operations

hdfs fs -ls

hdfs fs -lsr 包括子目录文件

hdfs fs  -rmr 

bin/hadoop fs -put path1  path2  上传hdfs 下path1 到本机 path2

bin/hadoop fs -get path1  path2  下载hdfs 下path1 到本机 path2

bin/hadoop dfs -copyFromLocal 源路径 路径

bin/hadoop dfs -getmerge

hadoop fs -du URI [URI …]  显示目录中所有文件的大小

hadoop fs -expunge 清空回收站

• management and update

hdfs dfsadmin -report  查看HDFS的基本统计信息

hdfs dfsadmin -safemode leave 退出safemode safemode下文件不允许修改

start-balacer.sh  负载

•  mr job

bin/hadoop jar *.jar [jobMainClass] [jobArgs] 运行MRjob

bin/hadoop job -kill job_201005310937_0053 

 

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

bin/hadoop 查看更多命令

Most commands print help when invoked w/o parameters.