无法通过 Unix Shell 终端中的 Spark 查看在配置单元中创建的表

Posted 2023-03-27

【中文标题】无法通过 Unix Shell 终端中的 Spark 查看在配置单元中创建的表

【英文标题】：Unable to view tables created in hive through Spark in Unix Shell Terminal

【发布时间】：2018-03-22 07:31:45

【问题描述】：

通过 shell 和 Spark（Eclipse 上的 Scala）在 hive 中创建的表是否都相同？

如果是，我在使用它们时会得到不同的表和数据库列表。 如何解决？

【问题讨论】：

都是一样的。您能解释一下您看到不同表格列表的背景吗？

当我使用 HiveContext 并在 Spark 中创建一个表时，这些表没有显示在用户/配置单元/仓库中。你能告诉我可能的更正吗？

请编辑您的问题以提供尽可能多的信息。例如包括创建表的 spark 代码以及如何检查 /user/hive/warehouse 目录？是通过 Hue 还是 HDFS 等等。

请贴出代码以便更好理解

【参考方案1】：

Spark 需要配置来检测 Hive。

在你的类路径中添加hive-site.xml。

如果没有这些配置，Spark 会将 hive 表本地存储在项目根目录的 metastore_db 文件夹中。