大数据之Hadoop(MapReduce)：Hadoop解决数据倾斜方法

Posted 2021-06-20 浊酒南街

目录

• 1.分析
• 2.导致数据倾斜的key 分布在相同的mapper
• • 2.1提前在map端进行combine，减少传输的数据量
• 3 .导致数据倾斜的key 分布在不同的mapper
• • 3.1：局部聚合加全局聚合。
  • 3.2：增加Reducer，提升并行度
  • 3.3：实现自定义分区

Hadoop解决数据倾斜方法

1.分析

分两种情况，第一种导致数据倾斜的key 分布在相同的mapper，第二种导致数据倾斜的key 分布在不同的mapper

2.导致数据倾斜的key 分布在相同的mapper

2.1提前在map端进行combine，减少传输的数据量

在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。

3 .导致数据倾斜的key 分布在不同的mapper

3.1：局部聚合加全局聚合。

第一次在map阶段对那些导致了数据倾斜的key 加上1到n的随机前缀，这样本来相同的key 也会被分到多个Reducer中进行局部聚合，数量就会大大降低。
第二次mapreduce，去掉key的随机前缀，进行全局聚合。
思想：二次mr，第一次将key随机散列到不同reducer进行处理达到负载均衡目的。第二次再根据去掉key的随机前缀，按原key进行reduce处理。
这个方法进行两次mapreduce，性能稍差。

3.2：增加Reducer，提升并行度

JobConf.setNumReduceTasks(int)

3.3：实现自定义分区

根据数据分布情况，自定义散列函数，将key均匀分配到不同Reducer