在版本6.4扩展支持的azure databricks上启动群集时出现问题（包括Apache Spark 2.4.5、Scala 2.11）

Question

我在azure databricks上配置了一个集群，它使用6.4版本（包括Apache Spark 2.4.5和Scala 2.11）。发现此版本已弃用。该集群配置为在启动时运行2个脚本，并且一切正常。

我需要配置同一个集群，但在另一个azure环境中，我创建了与其他正在工作的集群一样的所有内容，但由于此运行时版本已弃用，我使用“新”可用版本6.4扩展支持（包括Apache Spark 2.4.5、Scala 2.11）对其进行了配置。通过此运行时更改，我在运行初始化脚本时启动集群时收到错误。

日志初始化脚本完成

文件“dbfs:/FileStore/tables/init\u install.sh”如下所示：

apt update -y
apt-get install libav-tools libavcodec-extra -y --fix-missing

我研究了这两个运行时版本之间存在的变化，发现了以下页面：https://docs.databricks.com/release-notes/runtime/6.4x.html

帮我弄清楚我需要在这个文件中更改什么才能与这个新的运行时版本兼容？

谢谢

Answer 1

似乎此问题与运行时版本无关。由于您正试图在另一个azure环境中创建群集，因此相应的初始化脚本位置将不可用。DBFS位置位于工作空间级别。因此，在另一个azure环境中，相应的相同位置将不存在。这就是发生此问题的原因。这样，您就可以在预期的azure环境中创建init脚本文件，并通过集群UI连接到该集群。

如何创建初始化脚本：

dbutils.fs.put("/FileStore/tables/init_install.sh","""
apt update -y
apt-get install libav-tools libavcodec-extra -y --fix-missing""", True)

更新集群配置中的相应位置：