Yarn聚合日志, 过期清除配置不生效

Posted 2023-04-13

参考技术A 在Yarn上开启了日志聚合, 并设置了过期清除的时间, 但是没有生效, 导致在HDFS上聚合后的日志数据过大( /tmp/logs/hdfs/logs ), 造成磁盘空间不足

前提: 配置了Jobhistory Server, 并处于启动中

Jobhistory Server使用的是mapred用户
hadoop fs chown -R mapred:supergroup /tmp/logs/hdfs

原本怀疑是Flink的log4j的配置问题, 错误日志太多导致无法回滚(这个问题在低版本的logback有出现过), 事实验证并不是.

那么是否是Yarn运行中的application出现了异常, 而异常重启的次数配置的比较大, 导致不断启动新的container, 通过模拟的确会出现这个问题, 在Yarn NodeManager的 /yarn/container-logs 可看到, 但是该文件会在application停止之后进行清除, 所以也可以暂时忽略这个问题

thinkphp session 过期时间配置不生效是怎么回事？

如题 thinkphp 3.1 session的过期时间配置不生效 而且保存的时间还不稳定 有时候几分钟就过期了 有时候十几分钟 这是什么坑爹问题 求大神指点
还有 服务器是IIS 7.5 好像好多人都遇到这个问题

参考技术A 你搞错了,cookies可以设置过期时间,
session可以unset或session_destroy全部删除.
session你关闭浏览器就没了,session过期时间在服务器配置文件时配置追问

thinkphp 里面可以用SESSION_EXPIRE设置过期时间的啊 但是这个设置了没有生效

追答

网上查了一下
'SESSION_EXPIRE'=>'300000', // 默认Session有效期

没用的话你试着设置php.ini里的session.gc_maxlifetime

追问

虚拟主机= = 问了服务商 php.ini里面是默认的 默认的就应该是24分钟吧 可是经常低于24分钟就过期了

参考技术B 你用IIS?一般情况都是用apache 或者nginx。。。。。 参考技术C 设置php.ini中的session.use_trans_sid = 1