Azure Databricks作业的DevOps

Question

我正在尝试在Azure Databricks上实现DevOps。

我已经完成了datricks笔记本和dbfs文件的devops实现。

我确实有许多数据砖作业根据计划在我的集群上运行。其中一些作业指向笔记本文件，少数作业指向 dbfs 位置中的 jar 文件。

有没有办法在azure databricks作业上实现devops流程，以便DEV中任何作业的任何更改都将调用构建管道，并在PROD databricks实例中部署相同的管道。

首先，我想知道是否有可能在 Azure 数据砖作业上实现 DevOps。

任何线索赞赏！

Answer 1

为了有效地做到这一点，我建议使用Databricks Terraform提供程序 - 在这种情况下，作业的定义可以存储在Git或类似的东西中，然后很容易与CI / CD系统集成，例如Azure DevOps，GitHub操作等。

环境之间的差异可以被编码为具有不同文件的变量，这些文件包含不同环境的html" target="_blank">变量等，因此您可以在不同环境之间重用主代码，如下所示：

provider "databricks" {
  host  = var.db_host
  token = var.db_token
}

data "databricks_spark_version" "latest" {}
data "databricks_node_type" "smallest" {
  local_disk = true
}

resource "databricks_job" "this" {
  name = "Job"

  new_cluster {
    num_workers   = 1
    spark_version = data.databricks_spark_version.latest.id
    node_type_id  = data.databricks_node_type.smallest.id
  }

  notebook_task {
    notebook_path = "path_to_notebook"
  }

  email_notifications {}
}

附言：从理论上讲，您可以实现一些定期任务，该任务将从原始环境中提取作业定义，并检查作业定义是否已更改，并将更改应用于另一个环境。你甚至可以通过诊断日志跟踪对作业定义的更改，并将其用作触发器。

但所有这些都只是黑客 - 最好使用Terraform。