在配置单元中执行查询时显示 Tez 顶点错误

Posted 2023-04-18

【中文标题】在配置单元中执行查询时显示 Tez 顶点错误

【英文标题】：Tez vertex error shown while execution of query in hive

【发布时间】：2017-12-14 11:08:32

【问题描述】：

谁能解释一下使用 Tez 执行引擎时 Hive 中的 VERTEX_FAILURE 错误是什么？还有它的根本原因是什么？

【参考方案1】：

这个错误是因为 Tez 容器没有分配足够的内存来运行查询。

解决方案：您必须通过调整以下参数来增加资源的内存。

tez.am.resource.memory.mb=4096 
tez.am.java.opts=-server -Xmx3276m -Djava.net.preferIPv4Stack=true -XX:+UseNUMA -XX:+UseParallelGC 
hive.tez.container.size=4096 
hive.tez.java.opts=-server -Xmx3276m -Djava.net.preferIPv4Stack=true -XX:+UseNUMA -XX:+UseParallelGC 

【讨论】：

谢谢，我用 mr 代替了 tez，它正在工作

但是 tez 比 mr 快得多，现在 mr 在 hive2 中已被弃用，因此如果您计划处理大量数据，那么您必须使用 tez。