如何查看Hadoop运行过程中产生日志

Posted 2023-03-08

参考技术A 其实网借鉴董西博客面内容：
Hadoop HDFS服务志与Hadoop MapReduce服务志类似；
Hadoop MapReduce志两部部服务志部作业志具体介绍：
1. Hadoop 1.x版本
Hadoop 1.xMapReduce服务志包括JobTracker志各TaskTracker志志位置（Web界面查看其志址http://主节点IP:50030）：
JobTracker：JobTracker安装节点默认位置
$hadoop.log.dir/logs/*-jobtracker-*.log该文件每旧志缀期志文件缀.log其$hadoop.log.dir默认值hadoop安装目录即$HADOOP_HOME
TaskTracker：各TaskTracker安装节点默认位置
$HADOOP_HOME/logs/*-tasktracker-*.log该文件每旧志面跟志志文件缀.log
作业志包括jobhistory志task志两部其jobhistory志作业运行志包括作业启间、结束间每任务启间、结束间各种counter信息等用户志解析作业运行各种信息非价值信息默认存放位置JobTracker所节点$hadoop.log.dir/history目录通参数hadoop.job.history.location配置每task志存放task运行节点存放位置$hadoop.log.dir/userlogs/<jobid>/<attempt-id>目录每task包含三志文件别stdout、stderrsyslog其stdout通标准输打印志比System.out.println注意程序通标准输打印志并直接显示终端保存文件syslog通log4j打印志通志包含用信息错误调试关键参考志 参考技术B web 50070那里可以看 集群上有个logs文件夹找到你的application的文件夹也可以看