Yarn application开启日志聚合，并配置存储路径和周期

Posted 2023-02-27

参考技术A 当任务运行结束后，YARN会把appmaster container任务的日志都上传到HDFS的地址中；每个用户的作业在/tmp/logs下都有自己用户名对应的日志，比如，test用户其作业在HDFS上日志路径为/tmp/logs/test/logs/。

现在公司生产环境一周作业日志量1个PB以上，解决防止作业日志占用大量空间的问题只能通过减少日志存储时间了。