0747-5.16.2-YARN日志聚合目录说明

Posted Hadoop实操

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了0747-5.16.2-YARN日志聚合目录说明相关的知识,希望对你有一定的参考价值。


文档编写目的



日志聚合是YARN提供的日志集中化管理功能,它能将运行完成的Container任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个集中式存储和分析机制。默认情况下,Container任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。本文需要介绍的yarn.nodemanager.remote-app-log-dir配置是当应用程序运行结束后,日志被转移到的HDFS目录,默认是/tmp/logs。本文将模拟修改该目录,然后又将其修改回默认。

  • 测试环境

1.CM和CDH版本均为5.16.2

2.集群正常运行

3.采用管理员用户登录CM

4.集群未启用Kerberos安全认证


问题重现



2.1 默认配置下的MR日志

1.集群当前运行正常


2.未修改配置前,YARN的yarn.nodemanager.remote-app-log-dir默认配置路径为/tmp/logs

0747-5.16.2-YARN日志聚合目录说明


3.查看/tmp/logs目录属性如下:属主为mapred,属组为hadoop,目录权限为777。

hdfs dfs -ls /tmp/

0747-5.16.2-YARN日志聚合目录说明


4.执行MR作业测试,可以正常执行

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明


5.查看作业日志,日志可以正常查看

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明


2.2 YARN配置修改后的日志

1.查看当前HDFS上不存在/data0/tmp/logs目录

hdfs dfs -ls /
hdfs dfs -ls /data0/tmp/logs

0747-5.16.2-YARN日志聚合目录说明


2.修改YARN的yarn.nodemanager.remote-app-log-dir配置为/data0/tmp/logs。然后保存更改,按照提示重启YARN服务。

0747-5.16.2-YARN日志聚合目录说明


3.配置修改后集群运行正常

0747-5.16.2-YARN日志聚合目录说明


4.执行MR作业测试 

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明

如上所示,MR作业可以正常执行


5.查看作业日志

0747-5.16.2-YARN日志聚合目录说明

如上所示,无法正常查看日志。提示:

Logs not available for job_1581405002681_0001.Aggregation may not be complete, Check back later or try the nodemanager athadoop03.focus.com:8041Or see application log athttp://hadoop03.focus.com:8041/node/application/application_1581405002681_0001


问题解决




3.1 方式一:自动创建日志目录

1.通过CM进入YARN服务界面,然后选择【创建NodeManager远程应用程序日志目录】。

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明


2.执行上述操作后会在HDFS上生成/data/tmp/logs目录,并且属主:属组为mapred:hadoop,目录权限为1777

hdfs dfs -ls /
hdfs dfs -ls /data/tmp

0747-5.16.2-YARN日志聚合目录说明


3.执行MR作业

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明


4.查看作业日志

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明

如上所示,日志已被聚合到HDFS,可以正常查看


3.2 方式二:手动创建日志目录

1.在HDFS上创建/data/tmp/logs目录

sudo -u hdfs hdfs dfs -mkdir -p /data/tmp/logs
hdfs dfs -ls /
hdfs dfs -ls /data/tmp/

0747-5.16.2-YARN日志聚合目录说明


2.修改/data0/tmp/logs目录的属主和属组为mapred:hadoop

sudo -u hdfs hdfs dfs -chown mapred:hadoop /data/tmp/logs
hdfs dfs -ls /data/tmp/

0747-5.16.2-YARN日志聚合目录说明


3.修改/data0/tmp/logs目录访问权限为1777

sudo -u hdfs hdfs dfs -chmod 1777 /data/tmp/logs
hdfs dfs -ls /data/tmp/

0747-5.16.2-YARN日志聚合目录说明


4.执行MR作业测试,作业正常执行

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明


5.查看作业日志

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明

如上所示,MR作业日志可以正常查看。


3.3 方式三:修改回默认目录/tmp/logs

1.修改yarn.nodemanager.remote-app-log-dir参数配置为默认目录/tmp/logs。保存后根据提示重启相关服务

0747-5.16.2-YARN日志聚合目录说明


2.执行MR测试

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5


0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明

MR作业正常执行


3.查看作业日志

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明

0747-5.16.2-YARN日志聚合目录说明


注意:无论是哪一种解决方式,对于无法查看日志的作业仍然无法查看,只能通过命令行的形式在本地查看。如下所示:

在hadoop03节点上查看本地日志


cd /data0/yarn/container-logs/llll application_1581405002681_0001/ll application_1581405002681_0001/container_1581405002681_0001_01_000003/


如上所示,作业job_1581319903607_0001的本地日志(每个NodeManager节点上都存在一部分)仍然在本地存在,未被聚合到HDFS,因此在HistoryServer Web UI上仍然无法查看该作业日志。


总结




2.YARN的yarn.nodemanager.remote-app-log-dir参数:应用程序运行结束后,日志被转移到的HDFS目录(启用日志聚集功能时有效),默认为HDFS上的/tmp/logs

目录。配置该参数时,如果其修改目录不存在,则需要执行YARN服务界面的【创建NodeManager远程应用程序日志目录】操作自动创建目录或者手动创建属主:属组为mapred:hadoop,权限设置为1777的HDFS目录;如果HDFS上该目录已存在,但是由于目录权限或属主问题导致无法查看日志,此时只能手动修改该目录权限和属主,不能通过YARN服务界面的【创建NodeManager远程应用程序日志目录】操作来修改属主和权限。


3.由于启了日志聚合功能(yarn.log-aggregation-enable),对于所有的MR作业,在作业执行完毕后会将本地日志聚合到HDFS上指定目录,在日志聚合完毕后会自动删除本地日志。此时参数yarn.nodemanager.log.retain-seconds所设置的本地日志保留时间是不生效的。


4.对于未被聚合到HDFS上的YARN作业日志,日志存储在yarn.nodemanager.log-dirs参数所配置的目录(每个NodeManager节点上都存在),只能通过命令行的形式在本地查看日志信息。并且本地日志不会被删除,只能手动定期清理。



以上是关于0747-5.16.2-YARN日志聚合目录说明的主要内容,如果未能解决你的问题,请参考以下文章

Flume入门 | 基本概念及架构说明

使用日志上下文聚合插件使能上下文查询及 Livetail

loki算法是啥

Trident整合MongoDB

JVM的垃圾算法有哪几种

JDK8废弃永久代