Azure Databricks是否可以自动加载程序使用AD凭据传递？

Question

使用自动加载器时，我无法通过ADLS Gen2的身份验证。我的Databricks群集已使用我的AD凭据启用。这种传递允许从ADLS Gen2进行以下读取和写入。

filepath_read = "abfss://container@storage_account.dfs.core.windows.net/output/parquet_file.pq"
filepath_write = "abfss://container@storage_account.dfs.core.windows.net/output/data_write/"
df = spark.read.parquet(filepath)
display(df)
df.write.mode("overwrite").parquet(filepath_write)

我假设如果useNotifications设置为false，这个访问将允许我创建一个流。但是，当尝试使用自动加载程序创建流式查询时，它会失败。我觉得这很奇怪，因为我假设我只需要读和写权限，因为我没有设置useNotifications为false的附加服务。我用以下内容初始化了流:

cloud_file = {"cloudFiles.format":"parquet",
              "cloudFiles.useNotifications":"false",
              "cloudFiles.subscripionId":subscripionId,
              "cloudFiles.connectionString":connection_string,
              "cloudFiles.tenantId":tenantId,
              "cloudFiles.resourceGroup":resourceGroup
              
              }
df_read_stream =(spark
     .readStream
     .format("cloudFiles")
     .options(**cloud_file)
     .schema(schema)
     .load("abfss://container@storage_account.dfs.core.windows.net/raw_landing"))

然后尝试使用以下内容写入流：

df_read_stream.writeStream \
    .format("delta") \
    .outputMode("append") \
    .foreachBatch(flatten) \
    .trigger(once = True) \
    .option("checkpointLocation",checkpoint_location) \
    .start("abfss://container@storage_account.dfs.core.windows.net/transformed/transformed_delta_table")

执行返回此错误：

com.databricks.backend.daemon.data.client.adl.AzureCredentialNotFoundException: Could not find ADLS Gen2 Token

即使启用了AD凭据传递，我还需要其他凭据来进行身份验证吗？

Answer 1

出现上述错误主要是因为ADLS Gen2没有正确连接到Azure Database ricks

请遵循以下语法将ADLS Gen2连接到亚行，并确保复制存储帐户密钥。

将ADLS Gen2连接到Azure Databricks

spark.conf.set(
"fs.azure.account.key.<storage-account-name>.core.windows.net","<storage-account-Access key>")

或

如果您尝试装载，请遵循以下代码:

dbutils.fs.mount(
source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/",
mount_point = "/mnt/azo1",
extra_configs = {"fs.azure.account.key.<storage-account-name>.blob.core.windows.net":"<storage-account-Access key>"})

有关信息，请参阅此Microsoft官方文档，

在Azure数据块中配置自动加载器点击此链接，它有关于在Azure数据块上读写流数据的详细解释。