使用 Python/Scala 的 Databricks 雪花表

Posted 2023-04-15

【中文标题】使用 Python/Scala 的 Databricks 雪花表

【英文标题】：Snowflake Table from Databricks using Python/Scala

【发布时间】：2021-10-12 10:28:14

【问题描述】：

谁能帮帮我？我想使用 Python/Scala 从 Databricks 在 Snowflake 中创建一个表并将数据放入其中。 下面是我的代码sn-p。我收到以下错误。如果在 Databricks 笔记本中不存在，请让我知道如何使用 Python 或 Scala 先创建表，然后加载数据？ 如果是这样，我需要使用哪些功能。下面给了我一个错误。谢谢！

''' df1.write.format("snowflake").options(sfOptions).option("dbtable","TEST_TABLE") .mode(SaveMode.Append) '''

【问题讨论】：

能否提供错误信息？

【参考方案1】：

如果您使用 Scala 代码，那么您的 df 写入应该如下所示：

df.write
    .format(SNOWFLAKE_SOURCE_NAME)
    .options(sfOptions)
    .option("dbtable", "t2")
    .mode(SaveMode.Append)
    .save()

如果您使用 Python 代码，那么您的 df 写入应该如下所示：

df.write
    .format(SNOWFLAKE_SOURCE_NAME)
    .options(**sfOptions)
    .option("dbtable", "t2")
    .mode(SaveMode.Append)
    .save()

地点：

SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake"

观察 Scala 与 Python 上的选项之间存在差异。