纱线应用的持续时间登录hadoop

Posted 2021-04-06

我在hadoop中使用yarn应用程序命令的输出来了解使用作业名称运行的mapreduce作业的详细信息。我的群集正在使用HDP分发。有谁知道，直到工作状态有多长？它是否记录了前几天的工作？

答案

这取决于我们的群集配置。在生产级别设置中，通常有一个历史/存档服务器可用于保存先前运行的日志。在默认纱线配置中，日志保留设置为1天，因此默认情况下会保留1天的日志。

如果历史服务器正在运行，则其默认端口为19888.检查mapred-site.xml以获取以下条目

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>{job-history-hostname}:19888</value>
 </property>

和yarn-site.xml

 <property>
    <name>yarn.log.server.url</name>
    <value>http://{job-history-hostname}:19888/jobhistory/logs</value>
  </property>