hadoop job history server
Posted jmbkeyes
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop job history server相关的知识,希望对你有一定的参考价值。
默认情况下是没有启动的,需要配置完后手工启动服务.
1. 修改mapred-site.xml,添加如下内容(cluster mode, start it on each slave node)
<property>
<name>mapreduce.jobhistory.address</name>
<value>slave3:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>slave3:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.joblist.cache.size</name>
<value>1000</value>
<description>default 20000</description>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/history/done_intermediate</value>
</property>
使用mr-jobhistory-daemon.sh start historyserver启动(cluster mode, start it on each slave node)
以上是关于hadoop job history server的主要内容,如果未能解决你的问题,请参考以下文章
在 Hadoop 的 Web 浏览器中看不到 Job History(http://localhost:19888) 页面
SQL Server-sys purge history job failed issue