配置日志的聚集

Posted abuduri

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了配置日志的聚集相关的知识,希望对你有一定的参考价值。

注意:开启日志聚集功能,需要重新启动nademanager,resourcemanager,historymanager

1. 配置yarn-site.xml

<!--日志聚集功能开启-->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
<property>

<!--日志保留时间设置7天-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
<property>

2.关闭nademanager,resourcemanager,historymanager

yarn-daemon.sh stop resourcemanager
yarn-daemon.sh stop nodemanager
yarn-daemon.sh stop historyserver

3.启动nademanager,resourcemanager,historymanager

yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
yarn-daemon.sh start historyserver

4.查看日志

http://linux4:19888/jobhistory

 

以上是关于配置日志的聚集的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop完全分布式配置 历史服务器&日志聚集

Hadoop入门——配置历史服务器及日志的聚集(图文详解步骤2021)

启用yarn日志聚集功能

常用python日期日志获取内容循环的代码片段

argparse 代码片段只打印部分日志

YARN基础