log (hadoop)

Posted 2020-10-08 satyrs

1application->container来管理。NameNode 的mapreduce log在userlogs。System.out 无法看到Mapper和Reducer的部分。

2log4j

3apache common LogFactory

4MultipleOutput ,program logputout

 

Hadoop:2.6:

mr-jobhistory-daemon.sh start historyserver　　jps JobHistoryServer

Tracking URL里面的History

yarn-site.xml里面配置aggregation为true:　　看到每个Map和Reduce任务的Log

yarn-site.xml同步到所有的节点，重启集群

HDFS directory where the application logs are moved on application completion. Need to set appropriate permissions. Only applicable if log-aggregation is enabled. The default value is "/logs" or "/tmp/logs"