大数据之Hive：Hive数据倾斜问题及解决方案

Posted 2021-06-24 浊酒南街

目录

• 1.数据倾斜原因：
• 2.解决方案：

1.数据倾斜原因：

① key分布不均匀
② 业务数据本身的特性
③ 建表时考虑不周
④ 某些SQL语句本身就有数据倾斜

2.解决方案：

① 设置参数
set hive.map.aggr=true 这个配置项代表是否在map端进行聚合
② 如果数据量非常大时，group by 替换distinct；
采用sum() group by的方式来替换count(distinct)完成计算。
set hive.groupby.skwindata=true，决定 group by 操作是否支持倾斜数据 当选项设定为 true，生成的查询计划会有两个 MR Job；
③ 当遇到一个大表和一个小表进行join操作时
使用mapjoin 将小表加载到内存中
④ 遇到需要进行join的但是关联字段有数据为空
方法1：id为空的不参与关联，加where限制条件
方法2：给空值分配随机的key值