Mapreduce打印调试输出

Posted 2020-10-07 One-Way

Mapreduce打印调试内容：

 

一、启动JobHistoryServer

mr-jobhistory-daemon.sh start historyserver  

[hadoop@node11 sbin]$ jps
3165 NodeManager
2580 NameNode
2440 QuorumPeerMain
3208 Master
2682 DataNode
3548 HMaster
3045 ResourceManager
2962 DFSZKFailoverController
8038 JobHistoryServer

通过jps查看JobHistoryServer进程存在，启动成功。

在8088端口，查看作业，点击History:

点击logs:

提示：

接下来修改配置

二、修改yarn配置文件 yarn-site.xml

<property>  
  <name>yarn.log-aggregation-enable</name>  
  <value>true</value>   
</property>  

重启hadoop

提示不可用，稍后再试。

之后又报了一个：Failed while trying to construct the redirect url to the log server. Log Server url may not be configured错误。

配置log server url 在yarn-site.xml

设置访问jobhistroy的url

<property>
<name>yarn.log.server.url</name>
<value>http://node11:19888/jobhistory/logs/</value>
</property>

在程序中打印日志，可以通过history查询。

 注意：

由于集群job会分配到不同的节点上运行，点击history的时候，默认会跳到相应节点的地址

如上图，我点击history,就跳转到 http://node13:19888/jobhistory/job/job_1506003477416_0002

需要手动修改主机的名字http://node11:19888/jobhistory/job/job_1506003477416_0002进行查看

红色部分为log4j的日志；

蓝色部分为System.out.println的信息。