Spark 持久表在其他节点中不可用

Posted 2023-04-15

【中文标题】Spark 持久表在其他节点中不可用

【英文标题】：Spark persistent table is not available in the other node

【发布时间】：2019-01-16 15:20:02

【问题描述】：

我有一个简单的 Spark(2.3.0) 独立集群，有 1 个主节点和 2 个工作节点（节点 1 和节点 2）。我使用 saveAsTable 命令和 node-1 上的 pyspark 将我的数据框作为持久表保存到 Hive 元存储中：

>>> df.write.saveAsTable("test")

它工作正常。我可以在该节点（node-1）上重新启动 pyspark，并且可以看到该表仍然存在：

>>> spark.sql('show tables').show()
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| default|     test|      false|
+--------+---------+-----------+

但是当我转到另一个节点（node-2）时，我得到以下信息：

>>> spark.sql('show tables').show()
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
+--------+---------+-----------+

谁能帮助我了解如何使用 node-2 中的表？

【问题讨论】：

这也给出了相同的结果：df.write.option("path", " hdfs://node-1:9000/test").format("parquet").saveAsTable("test")

你考虑过使用createGlobalTempView吗？

我不考虑它，因为我想在关闭应用程序后也有一个持久表，在这种情况下我使用 pyspark 作为应用程序..

【参考方案1】：

这是因为元存储数据本地保存在 Apache Derby 数据库中。我通过使用 mysql 而不是 derby 来解决这个问题。