hadoop常用命令

Posted 2022-08-18 程序员超时空

http://localhost:50070

(localhost

也可是

master

的

ip)

jps//OS

级查看

hadoop

进程

二、文件操作

Hadoopfs

选项

(

应用较广，包括本地文件系统

)

，推荐

hdfs

对应命令

dfs

bin/hdfsdfsadmin

–

report//

查看节点运行状态

bin/hdfsdfs-mkdir/t2//

在

hdfs

根目录创建子目录

t2

bin/hdfsdfs-ls///

列出目录

bin/hdfsdfs

-put/hadoop/hadoop/test4178.txt/t2//

上传本地文件到

HDFS

的

T2

bin/hdfsdfs-get

/t3/test2/

下载

test2

到本地根目录

位置相反

bin/hdfsdfs-cat/t2/test2//

显示文件内容

bin/hadoopfs

-put/hadoop/hadoop/test4178.txt

/t2

//cp

本地文件到

HDFS

的

T2

bin/hdfsdfs-rmdir/t2//

删除非空目录

bin/hdfsdfs-rm/t2/test2//

删除文件，

bin/hdfsdfs

–

rm-r/t2//

删除目录及其下所有文件，

bin/hadoopdfs-cat/ctom4178/test4178.txt

1

、列出所有

HadoopShell

支持的命令

$bin/hadoopfs-help

2

、显示关于某个命令的详细信息

$bin/hadoopfs-helpcommand-name

3

、用户可使用以下命令在指定路径下查看历史日志汇总

$bin/hadoopjob-historyoutput-dir

这条命令会显示作业的细节信息，失败和终止的任务细节。

4

、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下

面的命令查看

$bin/hadoopjob-historyalloutput-dir

5

、格式化一个新的分布式文件系统：

$bin/hadoopnamenode-format

6

、在分配的

NameNode

上，运行下面的命令启动

HDFS

：

$bin/start-dfs.sh

bin/start-dfs.sh

脚本会参照

NameNode

上

$HADOOP_CONF_DIR/slaves

文件的内容，在所

有列出的

slave

上启动

DataNode

守护进程。

7

、在分配的

JobTracker

上，运行下面的命令启动

Map/Reduce

：

$bin/start-mapred.sh

bin/start-mapred.sh

脚本会参照

JobTracker

上

$HADOOP_CONF_DIR/slaves

文件的内容，

在

所有列出的

slave

上启动

TaskTracker

守护进程。

8

、在分配的

NameNode

上，执行下面的命令停止

HDFS

：

$bin/stop-dfs.sh