记录CDH上修改的一些配置

Posted 2020-09-09 流浪在伯纳乌

1 加大map，与reduce执行内存，由2改为3

 

2 

yarn.nodemanager.vmem-pmem-ratio默认参数是2.1 调大可以减少物理内存出现不足的情况。
只要参数值*分配的内存>需要的内存值，就不会报错。

3 添加spark shuffle

4 hbase region 大小设置

之前是10G ，现在改为100G，这样减少region split的次数，从而减少出现region is not online 的情况发生。

• 单个ColumnFamily的region大小，若按照ConstantSizeRegionSplitPolicy策略，超过设置的该值则自动split

 

5 调大map 与reduce 的任务内存值，将map 任务内存调大到4G，CPU虚拟内核调大为4核，之间是1:1的关系

将reduce任务内存和CPU虚拟内核调大为4核，之间是1:1的关系

6 HDFS 的ACL权限设置：