CDH--HDFS和Yarn存储不足

Posted 2022-12-05 北京小辉

备注：
最近公司CDH集群中的某个DataNode存储一直报警，分析如下：
1）一个集群有多个DataNode
2）一个DataNode的数据会存储在多个路径。eg: /data1,/data2,/data3等等
3）/data3 路径下面除了【/data3/dfs/dn】和 【/data3/yarn/nm】路径还会有其余文件，导致路径文件过大，同时CDH的 balancer 的平衡机制无法平衡
4）解决方法：清除路径多余文件，或者在CDH中的DataNode移除对应路径
5）无论DataNode还是yarn，都会有一个【默认组】还有一个【独立组】。如果没有对单独机器指定路径，那相同角色路径配置一样。如果修改单独服务器路径需要重启角色。
截图如下：