Hive Tez 减速器运行速度超慢

Posted 2023-03-23

【中文标题】Hive Tez 减速器运行速度超慢

【英文标题】：Hive Tez reducers are running super slow

【发布时间】：2019-02-02 08:12:22

【问题描述】：

我已加入多个表，总行数约为 250 亿。最重要的是，我正在做聚合。这是我的配置单元设置，如下所示，我用它来生成最终输出。我不确定如何调整查询并使其运行得更快。目前，我正在反复试验，看看是否能产生一些结果，但这似乎不起作用。映射器运行得更快，但减速器需要永远完成。有人可以分享您对此的看法吗？谢谢。

    SET hive.execution.engine=tez;
    SET hive.exec.dynamic.partition.mode=nonstrict;
    SET hive.qubole.cleanup.partial.data.on.failure=true;
    SET hive.tez.container.size=8192;
    SET tez.task.resource.memory.mb=8192;
    SET tez.task.resource.cpu.vcores=2;
    SET hive.mapred.mode=nonstrict;
    SET hive.qubole.dynpart.use.prefix=true;
    SET hive.vectorized.execution.enabled=true;
    SET hive.vectorized.execution.reduce.enabled =true;
    SET hive.cbo.enable=true;
    SET hive.compute.query.using.stats=true;
    SET hive.stats.fetch.column.stats=true;
    SET hive.stats.fetch.partition.stats=true;
    SET mapred.reduce.tasks = -1;
    SET hive.auto.convert.join.noconditionaltask.size=2730;
    SET hive.auto.convert.join=true;
    SET hive.auto.convert.join.noconditionaltask=true;
    SET hive.auto.convert.join.noconditionaltask.size=8053063680;
    SET hive.compute.query.using.stats=true;
    SET hive.stats.fetch.column.stats=true;
    SET hive.stats.fetch.partition.stats=true;
    SET mapreduce.job.reduce.slowstart.completedmaps=0.8;
    set hive.tez.auto.reducer.parallelism = true;
    set hive.exec.reducers.max=100;
    set hive.exec.reducers.bytes.per.reducer=1024000000;

SQL:

SELECT D.d
      ,D.b
      ,COUNT(DISTINCT A.x)  AS cnt
      ,SUM(c)               AS sum
 FROM A
LEFT JOIN
       B
ON A.a = B.b
LEFT JOIN
       C 
ON B.b = C.c
JOIN
       D
 ON A.a >= D.d
AND A.a <= D.d
GROUP BY 1,2
CLUSTER BY D.d;

【问题讨论】：

请同时提供 EXPLAIN 输出

【参考方案1】：

还没有查询计划，所以也许还有别的，但这些设置肯定会限制减速器的并行性：

set hive.exec.reducers.max=100;
set hive.exec.reducers.bytes.per.reducer=1024000000;

我建议增加允许的 reducer 数量并减少每个 reducer 的字节数，这将增加 reducer 的并行度：

set hive.exec.reducers.max=5000; 
set hive.exec.reducers.bytes.per.reducer=67108864;

Hive 1.2.0+ 还提供自动重写optimization for count(distinct)。勾选这个设置，默认应该是true：

hive.optimize.distinct.rewrite=true;

如果查询卡在最后一个reducer上，那么就有skew in join keys