在带有Terraform的Azure Databricks中安装带有AAD直通的ADLS gen2

Question

我正在尝试使用Database ricks Terraform提供程序使用Azure Active Directory直通将我的ADLS gen2存储容器挂载到DBFS中。我正在按照此处和此处的说明进行操作，但当Terraform尝试部署挂载资源时，我收到以下错误：

错误:找不到ADLS Gen2令牌

我的Terraform代码如下所示(它非常类似于提供者文档中的示例),我使用Azure服务主体进行部署，该主体在同一个模块中创建Databricks工作区:

provider "databricks" {
  host                        = azurerm_databricks_workspace.this.workspace_url
  azure_workspace_resource_id = azurerm_databricks_workspace.this.id
}

data "databricks_node_type" "smallest" {
  local_disk = true

  depends_on = [azurerm_databricks_workspace.this]
}

data "databricks_spark_version" "latest" {
  depends_on = [azurerm_databricks_workspace.this]
}

resource "databricks_cluster" "passthrough" {
  cluster_name            = "terraform-mount"
  spark_version           = data.databricks_spark_version.latest.id
  node_type_id            = data.databricks_node_type.smallest.id
  autotermination_minutes = 10
  num_workers             = 1

  spark_conf = {
    "spark.databricks.cluster.profile"                = "serverless",
    "spark.databricks.repl.allowedLanguages"          = "python,sql",
    "spark.databricks.passthrough.enabled"            = "true",
    "spark.databricks.pyspark.enableProcessIsolation" = "true"
  }

  custom_tags = {
    "ResourceClass" = "Serverless"
  }
}

resource "databricks_mount" "mount" {
  for_each = toset(var.storage_containers)

  name       = each.value
  cluster_id = databricks_cluster.passthrough.id
  uri        = "abfss://${each.value}@${var.sa_name}.dfs.core.windows.net"

  extra_configs = {
    "fs.azure.account.auth.type"                   = "CustomAccessToken",
    "fs.azure.account.custom.token.provider.class" = "{{sparkconf/spark.databricks.passthrough.adls.gen2.tokenProviderClassName}}",
  }

  depends_on = [
    azurerm_storage_container.data
  ]
}

（为了清楚起见，azurerm_storage_container.data 是一组具有var.storage_containers名称的存储容器，这些容器在azurerm_storage_account中创建，名称var.sa_name，因此是URI。

我觉得这个错误是由于我的根本误解，而不是简单的疏忽。我的基本假设是，我可以使用AAD passthrough为工作区装载存储容器，这在我部署整个基础架构时非常方便。也就是说，无论用户何时使用工作区，任何新的直通集群都可以使用这些挂载，而无需设置。

我可以按照 AAD 直通说明手动装载存储容器：启动启用了直通的高并发群集，然后使用 dbutils.fs.mount 进行装载。这是在使用我的用户标识（而不是服务主体）登录到 Databricks 工作区时进行的。这是问题的根源吗？服务主体是否不适合此任务？

（有趣的是，如果我尝试在未启用直通的情况下使用群集访问手动创建的装载上的文件，Databricks 运行时会给我完全相同的错误。

Answer 1

是的，这是由于在操作中使用服务原则而产生的问题。azure docs for credentials pass through说:

不能将配置有ADLS凭据（例如，服务主体凭据）的群集与凭据传递一起使用。