HIVE Error : Java heap space 解决方案

Posted 2020-11-06 极致世界

 Java heap space问题一般解决方案：

设置 set io.sort.mb=10; 排序所使用的内存数量，默认值是100M，和mapred.child.java.opts相对应，opts默认：-Xmx200m,则mb不能超过200M，否则会OOM。

设置 set hive.map.aggr=true; 是否在 Map 端进行聚合，默认为True，会在map端进行部分数据端聚合操作。

(可选)hive.groupby.mapaggr.checkinterval =100000; Map端进行聚合操作的数据条目，根据情况选择是否设置。

设置 set hive.groupby.skewindata=true; 设置true后当数据出现倾斜时，Hive会自动进行负载均衡。

当hive.groupby.skewindata选项设定为true时，查询计划会有两个MR Job。第一个MR Job 中，Map的输出结果集合会随机分布到Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的 Group By Key有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；第二个 MR Job 再根据预处理的数据结果按照 Group ByKey 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce中），最后完成最终的聚合操作。