如何从 pandas 数据框创建数据块表？

Posted 2023-04-15

【中文标题】如何从 pandas 数据框创建数据块表？

【英文标题】：How do I create a databricks table from a pandas dataframe?

【发布时间】：2020-09-11 04:59:40

【问题描述】：

我创建了一个 pandas 数据框。这打印得很好，但是我需要在 SQL 中进行操作。

我已经运行了以下内容：

spark_df = spark.createDataFrame(df)

spark_df.write.mode("overwrite").saveAsTable("temp.testa")

pd_df = spark.sql('select * from temp.testa').toPandas()

但是得到一个错误：

AnalysisException: Database 'temp' not found;

显然我还没有创建数据库，但不知道该怎么做。

任何人都可以建议我如何实现我所需要的吗？

【参考方案1】：

错误消息清楚地显示“AnalysisException: Database 'temp' not found;”数据库临时未找到。创建数据库后，您可以毫无问题地运行查询。

要创建数据库，可以使用以下命令：

在 SQL 中创建数据库：

CREATE DATABASE <database-name>

参考：Azure Databricks - SQL