实例化 'org.apache.spark.sql.hive.HiveSessionState' 时出错:"

Posted

技术标签:

【中文标题】实例化 \'org.apache.spark.sql.hive.HiveSessionState\' 时出错:"【英文标题】:Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"实例化 'org.apache.spark.sql.hive.HiveSessionState' 时出错:" 【发布时间】:2017-04-11 10:14:37 【问题描述】:

在打印 SQL 数据库的架构时,我收到以下错误:

【问题讨论】:

您好,如果您的回答令您满意,请在箭头上打勾并可能点赞。 【参考方案1】:

使用 SparkSession 代替 SQLContext。这样做:

sqlContext = SparkSession.builder.master("local[*]").appName("appName").
                      config("spark.sql.warehouse.dir", "./spark-warehouse").getOrCreate()

您的其余代码应该可以正常工作。 您可以从 sqlContext 调整变量名称以反映所持有的引用。

【讨论】:

Ekaba 答案对我有用。只是补充一下,错误的原因是由于 .enableHiveSupport() 存在于 shell.py 文件中。 好的。伟大的。请根据您的观察更新我的答案。对其他人会有帮助。另外,别忘了点赞:D 我在这里更新了我的观察link @EkabaBisong - 你是我的英雄!!几个小时以来,我一直在努力在 docker 容器中进行 spark-submit 工作,而这个 hivebuilder 错误是最后需要修复的部分。谢谢!

以上是关于实例化 'org.apache.spark.sql.hive.HiveSessionState' 时出错:"的主要内容,如果未能解决你的问题,请参考以下文章

实例化“org.apache.spark.sql.hive.HiveExternalCatalog”时出错

java.lang.IllegalArgumentException:实例化'org.apache.spark.sql.hive.HiveSessionState'时出错:使用spark会话读取csv

实例化 HiveSessionState 中的 Spark2 数据加载问题

spark关于join后有重复列的问题(org.apache.spark.sql.AnalysisException: Reference '*' is ambiguous)(代码片段

类型不匹配;找到:org.apache.spark.sql.DataFrame 需要:org.apache.spark.rdd.RDD

Spark SQL 查询:org.apache.spark.sql.AnalysisException