启用进程隔离的集群尚不支持 Databricks Connect

Posted 2023-04-15

【中文标题】启用进程隔离的集群尚不支持 Databricks Connect

【英文标题】：Databricks Connect is not yet supported on the cluster with process isolation enabled

【发布时间】：2020-10-12 09:34:18

【问题描述】：

我正在使用 Azure Databricks (6.5 Runtime) 并尝试将其连接到 IDE。但是，为了在我们的集群中启用 AAD 凭证直通，我们需要将以下属性设置为 true

spark.databricks.passthrough.enabled true
spark.databricks.pyspark.enableProcessIsolation true

但这会导致 databricks-connect 测试失败并出现错误

Caused by: java.lang.IllegalArgumentException: requirement failed: Databricks Connect is not yet supported on the cluster with process isolation enabled

是否有任何解决方法？如果没有，那么是否有计划在短期内支持此用例？

【参考方案1】：

确保以下配置设置为 true。

 spark.databricks.libraryIsolation.processIsolation.enabled = true

【讨论】：

如果对你有用，可以accept it as an answer吗？它可能会帮助更多有类似问题的人。

不，这不起作用，当在 HC 集群上启用 creds 直通时，它会启用 processIsolation，databricks-connect 库尚不兼容。