无法在数据砖上使用 python 访问已装载的卷

Question

我正在尝试使用凭据直通将Azure存储帐户Gen2容器安装到dbfs，从而将其访问权限授予数据库里克斯工作区中的团队。我希望能够使用Active Directory管理访问权限，因为最终会以只读方式安装容器。

我的代码基于本教程:https://learn . Microsoft . com/en-us/azure/data bricks/data/data-sources/azure/adls-pass through # adls-aad-credentials

从我的conf中提取：

"spark_conf": {
        "spark.databricks.cluster.profile": "serverless",
        "spark.databricks.passthrough.enabled": "true",
        "spark.databricks.delta.preview.enabled": "true",
        "spark.databricks.pyspark.enableProcessIsolation": "true",
        "spark.databricks.repl.allowedLanguages": "python,sql"
    }

然后，我运行以下代码:

dbutils.fs.mount(
  source = f"wasbs://data@storage_account_name.blob.core.windows.net",
  mount_point = "/mnt/data/",
  extra_configs = {
  "fs.azure.account.auth.type":"CustomAccessToken",
  "fs.azure.account.custom.token.provider.class":spark.conf.get("spark.databricks.passthrough.adls.gen2.tokenProviderClassName")
}

这是一个成功，因为我可以使用dbutils访问卷。

>> dbutils.fs.ls('dbfs:/mnt/storage_account_name/data')
[FileInfo(path='dbfs:/mnt/storage_account_name/data/folder/', name='folder/', size=0)]

我的问题是

>> import os 
>> os.listdir('/dbfs/')
Out[1]: []

>> os.listdir('/dbfs/mnt/')
FileNotFoundError: [Errno 2] No such file or directory: '/dbfs/mnt/'

我找不到我错过了什么。有没有什么需要配置的东西让python可以访问？谢了。

Answer 1

答案很简单。

本地文件API限制

以下列表列举了适用于每个Databricks运行时版本的本地文件API使用限制。

All - Does not support credential passthrough.

资料来源：https://learn.microsoft.com/en-us/azure/databricks/data/databricks-file-system#local-文件api

Answer 2

使用凭据传递选项时存在某些限制，这就是它不起作用的原因。不存在语法问题。看这个官方文档就明白了。