使用 6.4 版扩展支持（包括 Apache Spark 2.4.5、Scala 2.11）在 azure databricks 上启动集群时出现问题

Posted 2023-02-19

【中文标题】使用 6.4 版扩展支持（包括 Apache Spark 2.4.5、Scala 2.11）在 azure databricks 上启动集群时出现问题

【英文标题】：Problem starting cluster on azure databricks with version 6.4 Extended Support (includes Apache Spark 2.4.5, Scala 2.11)

【发布时间】：2022-01-23 17:51:10

【问题描述】：

我在 azure databricks 上配置了一个集群，它使用版本：6.4（包括 Apache Spark 2.4.5、Scala 2.11）。发现此版本已被弃用。 此集群配置为在启动时运行 2 个脚本并且一切正常。

我需要配置同一个集群，但在另一个天蓝色环境中，我创建的所有内容都与其他正在运行的集群一样，但由于此运行时版本已弃用，我将其配置为“新”可用版本 6.4 扩展支持（包括 Apache Spark 2.4.5、Scala 2.11）。通过此运行时更改，我在运行初始化脚本时启动集群时遇到错误。

LOG INIT_SCRIPTS_FINISHED

文件“dbfs:/FileStore/tables/init_install.sh”如下：

apt update -y
apt-get install libav-tools libavcodec-extra -y --fix-missing

我研究了这两个运行时版本之间存在的变化并找到了这个页面： https://docs.databricks.com/release-notes/runtime/6.4x.html

帮我弄清楚我需要在这个文件中更改什么以与这个新的运行时版本兼容？

谢谢。

【参考方案1】：

似乎这个问题与运行时版本无关。由于您试图在另一个天蓝色环境中创建集群，因此相应的初始化脚本位置将不可用。 DBFS 位置位于工作空间级别。因此，在另一个天蓝色的环境中，各个相同的位置将不会出现。这就是出现此问题的原因。这样您就可以在预期的 azure 环境中创建初始化脚本文件并通过集群 UI 附加到该集群。

如何创建初始化脚本：

dbutils.fs.put("/FileStore/tables/init_install.sh","""
apt update -y
apt-get install libav-tools libavcodec-extra -y --fix-missing""", True)

更新集群配置中的相应位置：

【讨论】：

您好，感谢您的回复。该文件位于新的 azure 环境中（另一个文件也在同一位置，并且没有错误）。我尝试进行一项更改旧环境的测试，其中不推荐使用运行时版本，我将此版本更改为“新”版本，并且同一集群停止启动，并且出现在新环境中出现的相同错误。

能否请您先尝试在没有初始化脚本的情况下创建集群，以缩小是否与初始化脚本相关的问题。如果您能够在没有初始化脚本的情况下创建集群，则意味着与初始化脚本相关的问题，否则运行时版本问题。

是的，我也做过这个测试。我创建了一个没有初始脚本的集群，并且集群启动没有问题。

在使用 6.4 版（包括 Apache Spark 2.4.5、Scala 2.11）的同一环境中，我刚刚更改为“新”版 6.4 扩展支持（包括 Apache Spark 2.4.5、Scala 2.11) 并且集群停止启动。

我怀疑初始化脚本中的 'apt update -y' 存在问题。你想用这个命令执行什么？