实例化“org.apache.spark.sql.hive.HiveExternalCatalog”时出错

Posted 2023-04-15

【中文标题】实例化“org.apache.spark.sql.hive.HiveExternalCatalog”时出错

【英文标题】：Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog'

【发布时间】：2020-04-07 08:41:53

【问题描述】：

我无法从 Pyspark 运行 Hive 查询。

我尝试将 hive-site.xml 复制到 spark 的 conf 中，但尽管这样做它还是抛出了同样的错误

完整的错误

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/spark-2.4.0/python/pyspark/sql/context.py", line 358, in sql
    return self.sparkSession.sql(sqlQuery)
  File "/usr/local/spark-2.4.0/python/pyspark/sql/session.py", line 767, in sql
    return DataFrame(self._jsparkSession.sql(sqlQuery), self._wrapped)
  File "/usr/local/spark-2.4.0/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
  File "/usr/local/spark-2.4.0/python/pyspark/sql/utils.py", line 79, in deco
    raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':"

【问题讨论】：

@JamesZ 我附上了完整的错误

请帮助我被卡住了

您好！我有同样的问题。如果你解决了你的问题，请写一个解决方案。

顶着看有人有解决办法，把解决办法贴在这里

【参考方案1】：

在我对 oozie 的测试中，我必须添加 Spark 需要的与 Hive 相关的 jar。尝试在 spark 的 conf 中添加相同的内容