MapReduce历史服务器

Posted 2021-02-28 QZhen

作用

保存执行job任务节点的执行日志

将多个节点执行map任务的日志和最终reduce日志聚合在一起

 

在mapred-site.xml中添加配置

1 <property>
2     <name>mapreduce.jobhistory.address</name>
3     <value>hostname:10020</value>
4  </property>
5 <property>
6     <name>mapreduce.jobhistory.webapp.address</name>
7     <value>hostname:19888</value>
8  </property>

View Code

在yarn-site.xml中天价配置

1 <property>
2     <name>yarn.log-aggregation-enable</name>
3     <value>true</value>
4  </property>
5 <property>
6     <name>yarn.log-aggregation.retain-seconds</name> #日志保存时间
7     <value>604800</value> #默认7天
8  </property>

View Code

 启动历史服务器

mr-jobhistory-daemon.sh start historyserver

必须在yarn集群启动之前启动历史服务器才能够记录日志。