CDH 集群定期清理指南
Posted 格格巫 MMQ!!
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CDH 集群定期清理指南相关的知识，希望对你有一定的参考价值。
1、清除hdfs回收站
CDH 集群定期清理指南
2 、 清空spark任务执行历史记录
hadoop fs -ls /user/spark/applicationHistory
清掉后再把回收站清理一下
3、cloudera manager清理
装cm的机器：/var/lib 路径下有如下文件：
CDH 集群定期清理指南
主要清理cloudera-host-monitor 、cloudera-service-monitor
这两个文件下子目录带ts两个字母的目录下都会有partitions，直接清掉就ok
例：subject_ts、ts_subject、ts等带有ts的目录
4、yarn缓存文件清理
/yarn/nm 下逐级目录删，主要清空filecahe里的文件，这部分最站磁盘
5、集群hdfs数据做定期处理
6、集群各组件日志做定期处理
1、将备份数降低
1）将默认的备份数3设置为2。
步鄹：CDH–>HDFS–>配置–>复制因子–>设置为2
2）执行命令: hadoop fs -setrep 2 path(记住为根目录 /
以上是关于CDH 集群定期清理指南的主要内容，如果未能解决你的问题，请参考以下文章