Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法

Posted 江南独孤客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法相关的知识,希望对你有一定的参考价值。

问题描述:

yarn开启ACL用户认证之后,日志只有在任务执行的时候能看到,SPARK任务跑完之后,在去看日志报User[yarn] is not authorized to view the logs for container的提示

Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法_解决方案

解决方案:

主要是原因是我开启sentry认证之后,资源池的队列用ACL进行了管理,提交的时候都是以hive用户来提交的,在ACL中只加了root忘记加hive
和yarn,导到任务执行完之后,历史的日志是从本地转存到了HDFS,无权限进行访问导致的。
解决方案:
管理 ACL:yarn.admin.acl如入如下用户:
admin,root,hive,yarn,hdfs,spark,impala,tools
保存后重启Yarn服务即可。

Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法_hive_02

然后就可以正常的看历史日志了。

Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法_hive_03

以上是关于Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法的主要内容,如果未能解决你的问题,请参考以下文章

Flink On Yarn如何查看任务日志

Spark On Yarn如何查看任务日志

如何在HDFS上查看YARN历史作业运行日志

YARN集群的mapreduce测试

YARN集群的mapreduce测试

Yarn application开启日志聚合,并配置存储路径和周期