在 spark 上运行 Hive

Posted 2023-04-15

【中文标题】在 spark 上运行 Hive

【英文标题】：Running Hive on spark

【发布时间】：2018-06-04 07:26:41

【问题描述】：

尝试在 spark 上运行 hive，同样使用以下属性。尝试调整其他一些属性以及执行程序实例的数量，spark master 但抛出错误“FAILED：SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create spark client。 "

spark.master 设置为本地时运行良好。

作业未实例化。有输入吗？

set hive.execution.engine=spark;
set spark.executor.memory=2g;
set yarn.scheduler.maximum-allocation-mb=8192;
set yarn.nodemanager.resource.memory-mb=40960;
set spark.executor.cores=4;
set spark.executor.memory=4g;
set spark.yarn.executor.memoryOverhead=750;
set hive.spark.client.server.connect.timeout=900000ms;
set yarn.nodemanager.resource.memory-mb=2048;

【问题讨论】：

我遇到了同样的问题，加上 hive 忽略了我的 spark.executor.memory 配置，当应用程序启动时，它以 1024 mb 执行程序内存和 return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask 开始，其余时间我得到和你一样的Failed to create spark client.。

@alonsos 您使用的是哪个版本的 hive，我发现它不适用于 hive 版本

【参考方案1】：

Hive on spark 不适用于 Hive 版本