Databricks 中的 Spark 版本

Posted 2023-04-15

【中文标题】Databricks 中的 Spark 版本

【英文标题】：Spark Version in Databricks

【发布时间】：2021-03-19 12:52:28

【问题描述】：

如何确定我在 Databricks 上运行的 Spark 版本？我想试试考拉，但是当我尝试import databricks.koalas 时，它会返回一个"No module named databricks" 错误消息。当我尝试from databricks import koalas 时，它返回相同的消息。

【问题讨论】：

有什么理由不从 pypi 安装考拉？

我不知道 pypi。我看到的所有参考资料都指向“从数据砖进口考拉”。我刚试过“from pypi import koalas”，它返回“no module pypi found”。

@karthik 你能详细说明你的问题吗？

可以从集群配置中验证spark的版本。

【参考方案1】：

考拉仅包含在 Databricks Runtime 7.x 及更高版本中。它不包含在 DBR 6.x 中。如果单击笔记本顶部的下拉菜单，您可以在 UI 中找到 Databricks Runtime 的版本。

您可以在Databricks Runtime release notes查看考拉的版本。