databricks-connect 无法连接到 Databricks 集群运行时 8.4

Posted 2023-04-15

【中文标题】databricks-connect 无法连接到 Databricks 集群运行时 8.4

【英文标题】：databricks-connect failed to connect to Databricks cluster runtime 8.4

【发布时间】：2021-08-13 12:31:52

【问题描述】：

我有以下设置

Databricks 集群：

8.4 ML (includes Apache Spark 3.1.2, Scala 2.12)

客户端：

databricks==0.2
databricks-cli==0.14.3
databricks-connect==8.1.10 (The latest version up to date 20210813)

当我运行databricks-connect test 来测试连接时，我收到了这个错误信息

java.lang.IllegalArgumentException: 
The cluster is running server version `dbr-8.4` but this client only supports Set(dbr-8.1). 
You can find a list of client releases at https://pypi.org/project/databricks-connect/#history, and install the right client version with `pip install -U databricks-connect==<version>`. 
For example, to install the latest 5.1 release, use `pip install -U databricks-connect==5.1.*`. 
To ignore this error and continue, set DEBUG_IGNORE_VERSION_MISMATCH=1.

根据错误信息，我了解到客户端和服务器版本存在兼容性问题。不过，我已经在使用最新的客户端了。

这是否意味着客户端不添加对服务器版本 8.4 的支持？ 有没有办法规避这个问题？

【参考方案1】：

不幸的是，它是 DBR 8.x 的最新版本的 databricks-connect，8.2-8.4 的版本尚未发布。但如果您在databricks-connect test 或其他命令（如pyspark、spark-submit 等）之前添加DEBUG_IGNORE_VERSION_MISMATCH=1，它可能会起作用。