无法指向使用来自 spark 的配置单元创建的外部表

Posted

技术标签:

【中文标题】无法指向使用来自 spark 的配置单元创建的外部表【英文标题】:Unable to point external tables created using hive from spark 【发布时间】:2018-08-14 07:19:57 【问题描述】:

我在 hive 中创建了外部表,我可以从 hive shell 中查看表和记录。但是,当我试图通过提及路径来从 spark-shell 指向同一个数据库时,我只能在 spark 中获取默认数据库,但无法看到我创建的数据库和表。

我也通过以下命令检查了路径 spark2.conf.get("spark.sql.warehouse.dir"),它给出了我指定的相同位置。 我也没有权限问题。

【问题讨论】:

提供您尝试过的代码 【参考方案1】:

1.在spark conf目录中检查你的hive-site.xml是否正确;

2.SparkSession.enableHiveSupport() 让您的 sparkSession 支持 hive。

【讨论】:

以上是关于无法指向使用来自 spark 的配置单元创建的外部表的主要内容,如果未能解决你的问题,请参考以下文章

Spark Scala创建外部配置单元表不使用位置作为变量

在 spark 中创建带有模式的配置单元外部表

Presto 无法查询配置单元表

Spark SQL - 无法将所有记录写入配置单元表

无法从 spark sql 插入配置单元分区表

为数据集创建了外部 Bigquery 配置单元分区表,但无法查看具有分区键的列