使用AAD令牌在数据库中创建Azure Key Vault支持的秘密范围

Question

我的最终目标是将 ADLS 第 2 代容器装载到我的数据砖工作区中，作为我在 Azure 服务主体主持下的 Terraform 托管部署的一部分。这是一个单一部署，用于创建所有 Azure 资源（网络、防火墙、存储帐户、数据砖工作区等），然后使用数据砖 Terraform 提供程序配置数据砖工作区。

这个回答说我不能使用服务主体进行AAD passthrough挂载，这意味着我必须使用OAuth2身份验证。为此，我需要一个Azure密钥库支持的Databricks秘密范围。Terraform文档说我只能用基于用户的认证来做这件事，而不能用我的服务主体。

所以我想也许我可以实现一个黑客:在Terraform中创建一个Databricks PAT(同样，总是作为服务主体)，然后使用Terraform external资源“外壳”到Databricks CLI，用这个PAT进行身份验证。我手动尝试了一下，得到了这个错误:

{
  "error_code": "INVALID_PARAMETER_VALUE",
  "message": "Scope with Azure KeyVault must have userAADToken defined!"
}

这是有道理的，因为 PAT 是为服务主体创建的。但是，作为替代方法，此答案建议使用 Azure AD 令牌身份验证，而不是 PAT。所以在那个兔子洞里，我去！

我可以按照微软的文档获取 Azure AD 令牌，然后使用它来对数据砖 CLI 进行身份验证：

export ARM_TENANT_ID="..."
export ARM_CLIENT_ID="..."
export ARM_CLIENT_SECRET="..."

export DATABRICKS_AAD_TOKEN="$(curl -X POST \
                                    -H 'Content-Type: application/x-www-form-urlencoded' \
                                    -d "client_id=${ARM_CLIENT_ID}" \
                                    -d 'grant_type=client_credentials' \
                                    -d 'scope=2ff814a6-3304-4ab8-85cb-cd0e6f879c1d%2F.default' \
                                    -d "client_secret=${ARM_CLIENT_SECRET}" \
                                    https://login.microsoftonline.com/${ARM_TENANT_ID}/oauth2/v2.0/token \
                             | jq -r .access_token)"

databricks configure --aad-token --host https://my-databricks-host.com

这种身份验证是可行的:我可以运行各种CLI命令(例如< code > data bricks tokens list )来返回预期的结果。然而，现在当我试图创建secret范围时，它给出了一个完全不同的错误:

databricks secrets create-scope --scope "test" \
                                --scope-backend-type AZURE_KEYVAULT \
                                --resource-id "/subscriptions/my/key/vault/resource/id" \
                                --dns-name "https://my-vault-name.vault.azure.net/"

Error: Your authentication information may be incorrect. Please reconfigure with ``dbfs configure``

我的第一个问题是：我的黑客会起作用吗？如果是，AAD 令牌身份验证哪里出错了？如果它不起作用，我的最终目标是否可能，或者我是否必须在不同的AAD标识（服务主体和常规用户）下分阶段运行多个Terraform部署（每个部署都有自己的状态）？

Answer 1

是的，您不能使用为服务主体颁发的AAD令牌来做到这一点——它只能与真实用户的AAD令牌一起工作。众所周知，Azure的局限性是有据可查的，希望将来能得到解决。

这是实现Azure Databricks工作区端到端自动化供应的主要障碍之一