CDH平台规划注意事项

Posted 2021-03-03 weiyiming007

1. 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。

2. 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为例，每个datanode存储2T的数据，namenode才耗费80G的空间。

3. 由于Hadoop有数据副本机制，默认为3个副本，因此datanode节点，系统盘做raid 1，数据盘做raid 0；namenode做raid 5,不管系统盘还是数据盘，都可以直接更换，保证数据不丢失；

4. 计算节点datanode依靠的是数量优势，除了存储空间足够大之外，对机器配置要求不高，但是安装Spark和impala的话对内存的要求较高，单节点2T的数据配置64G的单机内存有点吃力。

5. 但是namenode要跟所有的datanode交互，接收处理各种请求，对机器配置要求较高，以的测试数据来看，namenode存放80G的元数据时，64G的内存已经有点紧张了，开始使用交换内存了。

6. namenode和Secondary namenode需要各自独立的两个节点，即相互独立部署，这样即使namenode机器挂了，也可以手动从secondary namenode恢复一下。在hadoop 2高可靠性下可以配置两个namenode，

保证一个namenode出现问题可以自动切换至另一个。

7. 由于secondary namenode的是周期性的合并日志文件，因此单独部署时对机器压力较小，空间使用也只勉强是namenode的一半，因此可以把诸如Hive/Hbase等的服务器端安装在snn所在的服务器上，

这样可以使机器资源得到最大化利用。

8. hdfs空间不够开始报警，但是df –h命令下查看就会发现其实空间余额还有好几T，这种情况是由于non dfs used空间膨胀导致的，non dfs used和remaining一起构成了hdfs的可用空间容量，

两者呈现此消彼长的关系。Non dfs used从字面理解来看是非Hadoop文件占用的空间，实际上是某些文件删除之后，hadoop的组件没有释放对其引用导致的，从的情况来看，单个节点2T的

数据运行一个月会产生600G的non dfs used空间，最笨的办法就是重启CDH，一下子占用就到1G以下了。