Spark *** 上的 Hive 错误

Posted 2023-04-13

【中文标题】Spark *** 上的 Hive 错误

【英文标题】：Hive on Spark *** Error

【发布时间】：2017-09-08 04:59:48

【问题描述】：

我在 CDH 5.10 上的 Spark 上运行 Hive。我得到以下错误。我检查了 YARN 、 Hive 和 Spark 的所有日志，但除了以下错误之外没有任何有用的信息：

作业因阶段失败而中止：阶段 0.0 中的任务 0 失败 4 次，最近一次失败：阶段 0.0 中丢失任务 0.3（TID 4，xxx.local，执行程序 1）：java.lang.***Error

【问题讨论】：

你可能想看看issues.apache.org/jira/issues/…？ Spark 生成 java.lang.***Error 存在 19 个问题（6 个仍未解决）。

【参考方案1】：

在执行查询之前设置以下参数：

set spark.executor.extraJavaOptions=-Xss16m;
set hive.execution.engine=spark;