运行MapReduce任务

Posted 2020-11-25 hemomo

1：运行MapReduce任务

1：原始数据准备

统计用户的登录次数：

源数据login_log.txt如下：

[e-mail]

[e-mail]

[e-mail]

[e-mail]

[e-mail]

[e-mail]

[e-mail]  

[e-mail]

[e-mail] …

2：应用程序准备

集群目录：

$HADOOP_HOME/share/hadoop/mapreduce/中找到程序包：

hadoop-mapreduce-examples-2.6.4.jar

该程序包提供了一些测试模块：

wordcount   //对输入文件中的单词进行词频统计

pi   //估算圆周率pi的值

wordmean  //计算输入文件中单词的平均长度

 

3：提交任务指令解析

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar

wordcount  /user/root/login_log.txt  /user/root/output

说明：

wordcount  //指定程序包的主类

/user/root/login_log.txt   //hdfs上需要计算的源文件

/user/root/output   //hdfs上输出文件的目录

 

4：查看输出结果

在/user/root/output目录下有两个文件：

_SUCCESS  //这是标识文件，表示这个任务执行完成

part-r-00000   //完成任务后产生的结果文件

 

输出前5行：

hadoop fs -cat /user/root/output/part-r-00000 | head -n 5

5：查看集群的资源管理情况

https://master:18088

查看计算资源的使用情况

查看mapreduce的任务列表

查看具体作业的详细信息