Hive_数据倾斜处理

Posted 2020-08-19

Hive中三种join

map join (小表join大表,将小表加入到内存)
设置map join: hive.auto.convert.join=true
hive.mapjoin.smalltable.filesize=2500000;
PS:如果有一张表是小表便自动执行mapjoin,根绝表大小是否超过2500000区分
隐式的执行
/*+MAPJOIN(tb_name)*/
reduce join(大表join大表,效率很低)
SMB join(sort merge bucket join)
A表：10000~50000
			10000~20000----------------
			20001~30000---------------|---------
			30001~40000---------------|--------|--------
			40001~50000　　　　　　　　　> join　 |       |
B表: 10000~50000				　　　　　　|　　　　 > join  |
			10000~20000----------------        |       > join
			20001~30000-------------------------       |
			30001~40000---------------------------------
			40001~50000
条件: AB桶个数相同,或者B桶的个数是A桶倍数
set hive.auto.convert.sortmerge.join=true;  
set hive.optimize.bucketmapjoin = true;  
set hive.optimize.bucketmapjoin.sortedmerge = true;  
set hive.auto.convert.sortmerge.join.noconditionaltask=true; 
create table emp_info_bucket(ename string,deptno int)  
partitioned by (empno string)  
clustered by(deptno) into 4 buckets;  
	  
insert overwrite table emp_info_bucket  
partition (empno=7369)  
select ename ,deptno from emp  
	  
create table dept_info_bucket(deptno string,dname string,loc string)  
clustered by (deptno) into 4 buckets;  
	  
insert overwrite table dept_info_bucket  
select * from dept;   	 		
select * from emp_info_bucket emp  join dept_info_bucket dept on(emp.deptno==dept.deptno);

数据倾斜

使用join(map join/reduce join/group by等)聚合数据时,某一个特殊的key
(空值/特殊值)匹配到的记录过多而导致记录被分发到reduce的记录远大于平均值(总记录数平均配配到
各个reduce的值),这样在运行时reduce时某一reduce负载过大而导致运行效率远大于平均任务时常

操作导致

map join           其中一个表相对较小,但是key集中                 分配到某一个或几个reduce上的数据远高于平均值
reduce join        两个比较大的表使用分桶操作中,字段0或空值过多     这些空值都有一个reduce处理
group by           group by 维度过小,某值数量过多                处理某值的reduce非常耗时
count distinct     某特殊值过多                                 处理特殊值的reduce非常耗时

原因

1. key 值分配不均匀(业务数据本身问题)
2. 建表时考虑不周
3. 编写sql语句时使用某些聚合函数导致

表现

在运行HIVE任务时,发现少量reduce子任务迟迟未完成,原因就是数据分布,导致reduce负载不均衡

解决方案

参数调节
1. hive.map.aggr=true(提前对map部分聚合,相当于Conmbiner)
2.hive,groupby.skewindata=true
该选项生成的查询计划会有两个MR job,第一个MR job中,Map 的输出结果集被随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同Group by Key 有
可能分发到不同的Reduce中,从而达到负载均衡的目的,第二个MR Job 再将预处理的数据按照Group By Key 分发到Reduce中,(这个过程可以保证相同的Group By key被分布到同一个Reduce
,最后完成最终的聚合操作)

转自: http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.html