Databricks API 2.0-使用服务主体凭据在powershell中创建秘密作用域

Question

我正在尝试使用在 Azure DevOps 部署期间运行的电源外壳脚本在 Azure 数据砖中创建密钥保管库支持的机密作用域。当我使用自己的凭据在本地运行时，它工作正常，但是当我尝试使用服务主体凭据运行它时，我收到错误。

我遇到的问题与前一篇文章相似，但并不完全相同。

这是我的剧本:

[CmdletBinding()]
Param(
    $azureADDatabricksAccessToken = $env:AZUREADDATABRICKSACCESSTOKEN,
    $azureManagementAccessToken = $env:AZUREMANAGEMENTACCESSTOKEN,
    $workspaceResourceId,
    $subscription,
    $resourceGroup,
    $keyVault,
    $workspaceUrl,
    $scope
)
$headers = @{ 
"Authorization" = "Bearer $azureADDatabricksAccessToken";
"X-Databricks-Azure-SP-Management-Token" = $azureManagementAccessToken;
"X-Databricks-Azure-Workspace-Resource-Id" = $workspaceResourceId;
}

[Net.ServicePointManager]::SecurityProtocol = [Net.SecurityProtocolType]::Tls12
$scopes = (Invoke-RestMethod -Uri "https://$workspaceUrl/api/2.0/secrets/scopes/list" -Method Get -Headers $headers).scopes
$exists = ($scopes | Where-Object {$_.name -eq $scope}).Count -gt 0
if($exists){
    Write-Host "Secret scope found";
}
else{
    Write-Host "Creating new secret scope";
    
    $body = @{
     "scope" = "$scope";
     "scope_backend_type" = "AZURE_KEYVAULT";
     "backend_azure_keyvault" =
     @{
       "resource_id" = "/subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.KeyVault/vaults/$keyVault";
       "dns_name" = "https://$keyVault.vault.azure.net/";
     };
     "initial_manage_principal" = "users";
    }

    [Net.ServicePointManager]::SecurityProtocol = [Net.SecurityProtocolType]::Tls12
    Invoke-RestMethod -Uri "https://$workspaceUrl/api/2.0/secrets/scopes/create" -Method Post -Headers $headers -Body (ConvertTo-Json $body)
}

我得到这样的访问令牌：

$azureADDatabricksAccessToken = (az account get-access-token --resource 2ff814a6-3304-4ab8-85cb-cd0e6f879c1d --resource-type aad-graph | ConvertFrom-Json).accessToken
$azureManagementAccessToken = (az account get-access-token --resource "https://management.core.windows.net/" | ConvertFrom-Json).accessToken

这在我使用< code>az登录-t XXXX登录时有效，但作为服务主体使用< code>az登录-服务-主体-u XXXX -p XXXX -租户XXXX运行时失败。

我得到的错误消息是:

error_code":"CUSTOMER_UNAUTHORIZED","message":"Unable to grant read/list permission to Databricks service principal to KeyVault 
'XXXXX': key not found: https://graph.windows.net/

作为服务主体运行时，我是否需要为< code>graph.windows.net添加一些其他访问令牌头？

Answer 1

>

假设您已经有了数据块。

您需要使用以下命令获取azure AD令牌:

az account get-access-token --resource 2ff814a6-3304-4ab8-85cb-cd0e6f879c1d --query “accessToken”

生成令牌的用户应该是该数据砖中的用户。

请注意，令牌将在大约60分钟后过期。

将生成的adtoken、dbrworkspaceUrl、keyVaultName放入devops发布管道变量中。

运行以下脚本:

    python -m pip install --upgrade pip setuptools wheel databricks-cli --upgrade

    #get kv variables

    $keyVaultResp = (Get-AzKeyVault -VaultName '$(keyVaultName)')

    $KvResourceId = $keyVaultResp.ResourceId

    $KvVaultUri = $keyVaultResp.VaultUri

    #set AD token as env variable

    $env:DATABRICKS_AAD_TOKEN = "$(adtoken)"

    $hostname = "$(dbrworkspaceUrl)"+"/"

    Write-Output 'hostname' $hostname $KvResourceId $KvVaultUri
    
    #configure dbr

    databricks configure --host $hostname --aad-token

    databricks secrets create-scope --scope scope_name --scope-backend-type AZURE_KEYVAULT --resource-id $KvResourceId --dns-name $KvVaultUri --initial-manage-principal users

    databricks secrets list-scopes

配置Databricks CLI服务prin aad令牌

Answer 2

无法使用服务主体执行此操作 - 这是 Azure 端的限制。文档明确指出了这一点：

您需要Azure AD用户令牌来使用Databricks CLI创建Azure密钥库支持的机密范围。您不能使用属于服务主体的Azure Databricks个人访问令牌或Azure AD应用程序令牌。

附言：在自动预配工作区时，这是一个很大的痛点，但由于这是 Azure 中的一个问题，因此你可以做的一切都是升级到他们的支持，也许它会被优先考虑。

附言：您是否关注了Database ricks Terraform Provider-与Powershell REST API相比，它可能会让您的生活更轻松