如何使用 databricks-connect 在本地执行 Spark 代码？

Posted 2023-02-15

【中文标题】如何使用 databricks-connect 在本地执行 Spark 代码？

【英文标题】：How to execute Spark code locally with databricks-connect?

【发布时间】：2019-12-02 19:16:21

【问题描述】：

有没有办法在本地使用databricks-connect 执行 Spark 代码？

原因是我想在我的 CI/CD 管道中执行一些测试，而不需要启动和运行集群。

【问题讨论】：

我在单元测试模拟 spark_session 时遇到了类似的问题。你是怎么解决的？

【参考方案1】：

不，databricks-connect 需要一个正在运行的集群。 如果您不使用任何 databricks 特定代码（如 dbutils），您可以在本地运行 spark 并针对它执行 - 假设您仍然可以访问所需的数据源。

【讨论】：

令人遗憾的消息，因为我需要等待开源 Delta Lake 支持 Databricks 中可用的 DDL/DML。谢谢。