hadoop 主节点存储告警
Posted 梅里之巅
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop 主节点存储告警相关的知识，希望对你有一定的参考价值。
之前只他调整过dfs 的存储目录到最大配额的目录，其它没有处理（就是在默认的/ 目录下，而这个目录的存储配额只有50G）
运行一周的时间不到，集群开始告警，查看是目录/ 的存储占用超过了60%
再查看具体目录情况，主要占用的目录有四个，分别是：
/yarn 11G
/var 9.6G
/opt 4.7G
/usr 1.8G
其中：
yarn 主要存放mr 运行相关的中间数据
var 主要存放运行的日志和监控的日志数据（/var/lib/cloudera-service-monitor）
opt 主要存放cdh 的安装包，包括repo,cache,parcels(其中repo,cache和运行无关)
usr 主要存放 安装文件
处理：
1.调整监控日志数据存放路径，到更大配额的目录
2.调整yarn存放路径，到更大配额的目录
以上是关于hadoop 主节点存储告警的主要内容，如果未能解决你的问题，请参考以下文章