使用JAR文件作为DataRicks集群库

Question

我需要安装一个JAR文件作为库，同时设置数据库群集作为Azure发布管道的一部分。到目前为止，我已经完成了以下工作-

• 使用Azure CLI任务创建群集定义
• 使用curl命令将JAR文件从Maven仓库下载到管道代理文件夹
• 在管道代理上设置数据库CLI
• 使用数据集fs cp将JAR文件从本地（管道代理）目录复制到dbfs：/FileStore/jars文件夹

我正在尝试创建一个集群范围的init脚本（bash）脚本，它将-

• 安装熊猫，天蓝色宇宙和python魔术包
• 将JAR文件（在前面的步骤中已经复制到dbfs：/FileStore/jars位置）安装为群集库文件

我的集群初始化脚本如下所示-

#!/bin/bash
/databricks/python/bin/pip install pandas 2>/dev/null
/databricks/python/bin/pip install azure-cosmos 2>/dev/null
/databricks/python/bin/pip install python-magic 2>/dev/null

但我不知道-

• 如果这会将包添加到群集
• 如何将现有的JAR文件作为库添加到集群中

我知道还有其他方法来编辑群集库元数据，但据我所知，群集库的任何更改都需要群集处于运行状态，而我们的情况可能不是这样。这就是为什么，我想在我的集群定义中添加一个初始化脚本，这样，当集群重新启动/运行时，初始化脚本将被执行。

请帮忙。

谢谢Subhash

Answer 1

如果只想将jar文件复制到集群节点中，只需将它们复制到/databricks/jars文件夹中，如下所示（作为init脚本的一部分）：

cp `/dbfs/FileStore/jars/<file-name.jar> /databricks/jars/

或

cp `/dbfs/FileStore/jars/*.jar /databricks/jars/

关于init脚本的其余部分——是的，它将根据需要在所有集群节点上安装软件包。只有两条评论：

• 您可以使用一个pip命令安装多个软件包-它应该比逐个安装略快：

#!/bin/bash
/databricks/python/bin/pip install pandas azure-cosmos python-magic

• 使用2