Hive tez 查询失败并出现 java.io.IOException

Posted 2023-04-18

【中文标题】Hive tez 查询失败并出现 java.io.IOException

【英文标题】：Hive tez query fails with java.io.IOException

【发布时间】：2020-11-11 16:25:15

【问题描述】：

执行一个长时间运行的 Hive Tez 查询，它很少会失败：

java.io.IOException: File hdfs://XXX with newer attempt ID 1 is smaller than the file hdfs://YYY with older attempt ID 0

在我们的 20 节点 HDP 3.1.5 集群（Hive 3.1.0 和 Tez 0.9.1）中，它在大约 200 次执行中失败了一次

【参考方案1】：

我们在哪里打HIVE-23354

似乎没有解决方法。它在 Hive 4.0.0 解决

【参考方案2】：

我在查询有很多大连接时遇到了同样的问题。减小（在我的情况下为 512 mb->16 mb）适合内存的表的大小，即 hive.auto.convert.join.noconditionaltask.size 为我解决了这个问题。

堆栈：HDP 3.1.4、Tez 0.9.1、Hive 3.1.0。