cdh4 hadoop中作业的详细日志在哪里？
Posted
技术标签:
【中文标题】cdh4 hadoop中作业的详细日志在哪里？【英文标题】：Where is the job's detail log in cdh4 hadoop? 【发布时间】：2014-07-17 02:02:59 【问题描述】：我只是在 hdfs 中找到 jobhistory
/home/mps/cdh/users/history/done_intermediate/mps/job_1405497023620_0009-1405505656182-mps-simjoin%2D1.0.jar-1405505683781-0-0-FAILED-default.jhist
但是这个工作经历信息远不是这样的细节：
"type":"TASK_FAILED","event":"org.apache.hadoop.mapreduce.jobhistory.TaskFailed":"taskid":"task_1405497023620_0008_m_000002","taskType":"MAP","finishTime":1405505044309,"error":", \n","failedDueToAttempt":"string":"attempt_1405497023620_0008_m_000002_3","status":"FAILED"
在哪里可以找到更多详细信息，例如 Mapper 和 Reducer 中的作业记录器抛出异常或记录信息记录器？
【问题讨论】：
【参考方案1】：检查此目录：（根据您的设置）
/var/log/hadoop-0.20-mapreduce/userlogs/job_201407151208_0031/attempt_201407151208_0031_m_000000_0
你会发现
标准输出 标准错误 系统日志在这些文件中，您将详细了解作业的执行情况。
【讨论】：
以上是关于cdh4 hadoop中作业的详细日志在哪里？的主要内容，如果未能解决你的问题，请参考以下文章