通过databricks列出azure存储帐户中的所有容器

Question

我想要通过 databricks 从 Azure 订阅中动态获取所有存储帐户和容器。
因此，我可以遍历容器中的每个文件，并获取我之前完成的文件及其大小。
现在，我想动态地将存储帐户和容器设置为在 databricks 环境中进行处理。

Answer 1

根据我的经验，根据我对使用databricks的存储帐户中所有操作的理解，身份验证在azure存储帐户级别进行。在这种情况下，如果您尝试通过服务主体或存储帐户访问密钥访问存储帐户，则两者都在存储帐户级别，您可以列出存储帐户中的容器。但我们没有在订阅中列出存储帐户的选项。作为解决方法，您可以使用powershell获取订阅中的存储帐户并将这些值传递给您的逻辑。

您可以使用下面的代码来获取存储帐户中的容器列表。

from azure.storage.blob.blockblobservice import BlockBlobService
blob_service = BlockBlobService(account_name='storageaccount', account_key='accesskey')
containers = blob_service.list_containers()
for c in containers:
    print(c.name)