如何使用 Spark/PySpark 删除雪花目标表

Posted 2023-04-15

【中文标题】如何使用 Spark/PySpark 删除雪花目标表

【英文标题】：How to delete snowflake target table using Spark/PySpark

【发布时间】：2019-12-10 08:49:10

【问题描述】：

我正在尝试删除我在 Databricks 平台中使用 Pyspark 创建的目标雪花表。

任何帮助，我找不到任何解决方案。

【问题讨论】：

错误是什么？

它要求下限值和上限值

你能发布错误信息...和你的代码

【参考方案1】：

使用 Utils 对象的 runQuery() 方法执行 DDL/DML SQL 语句，以及查询，例如：

var sfOptions = Map(
    "sfURL" -> "<account_name>.snowflakecomputing.com",
    "sfAccount" -> "<account_name>",
    "sfUser" -> "<user_name>",
    "sfPassword" -> "<password>",
    "sfDatabase" -> "<database>",
    "sfSchema" -> "<schema>",
    "sfWarehouse" -> "<warehouse>",
    )
Utils.runQuery(sfOptions, "DROP TABLE MY_TABLE")

Snowflake DDL spark

【讨论】：

请您帮忙在 Pyspark 中导入这个 Utils

我添加了 import net.snowflake.spark.snowflake.Utils 并且它对我有用。

文档中引用的 Utils 对象适用于 Scala，而不适用于 python。你是如何在 Python 中导入 Utils 对象的？