如何访问databricks笔记本中具有相同容器名称的不同存储帐户

Question

我有两个不同的容器名称相同的存储帐户。假设tenant1和tenant2作为存储帐户名称，而“appdata”作为两个帐户中的容器名称。我可以创建两个容器并挂载到dbfs。但是我不能通过将存储帐户名传递给挂载点代码来动态地读/写。由于dbfs将mnt/containername作为dbfs中的挂载点，因此只有最新或以前传递的存储帐户的挂载点才会在数据块中引用。如何实现我在这里的目标？

Answer 1

挂载点应该是静态的，所以你只需要有两个不同的挂载点指向正确的容器，如下所示：

/mnt/storage1_appdata
/mnt/storage2_appdata

因此，如果您希望代码是动态的，请使用f"/mnt/{storage_name}_appdata"。

不建议动态地重新挂载容器——当有人在使用它读/写数据时，当您重新挂载挂载点时，您可能会得到神秘的错误。

此外，如果您为集群/作业指定正确的配置，您可以直接访问ADLS（请参阅文档）-您甚至可以同时访问两个容器，只需为两个存储帐户设置配置：

spark.conf.set("fs.azure.account.auth.type.<storage-account-name>.dfs.core.windows.net", 
  "OAuth")
spark.conf.set(
  "fs.azure.account.oauth.provider.type.<storage-account-name>.dfs.core.windows.net", 
  "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider")
spark.conf.set(
  "fs.azure.account.oauth2.client.id.<storage-account-name>.dfs.core.windows.net", 
  "<application-id>")
spark.conf.set(
  "fs.azure.account.oauth2.client.secret.<storage-account-name>.dfs.core.windows.net", 
  dbutils.secrets.get(scope="<scope-name>",key="<service-credential-key-name>"))
spark.conf.set(
  "fs.azure.account.oauth2.client.endpoint.<storage-account-name>.dfs.core.windows.net", 
  "https://login.microsoftonline.com/<directory-id>/oauth2/token")