当前位置: 首页 > 知识库问答 >
问题:

Azure数据块装载blob存储

卢鸿彩
2023-03-14

我正在尝试将一个blob存储从我的存储帐户映射到我的databricks集群。我正在跟踪这个链接,显然我只需要在我的笔记本上执行这段代码:

代码蟒蛇:

dbutils.fs.mount(
  source = "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

我被困在参数中:< code>(scope = "

在Database ricks CLI上尝试过:

在哪里可以找到


共有2个答案

百里景山
2023-03-14

请注意,blob endpoint源的格式必须为:

wasbs://container@storageaccount.blob.core.windows.net

然后你设置你的变量:

blobEndpoint = dbutils.secrets.get("blob-secret","blob-endpoint")

blobKey = dbutils.secrets.get("blob-secret","blobl-access-key")

    dbutils.fs.mount(
  source = blobEndpoint,
  mount_point = "/mnt/blobmountsecret",
  extra_configs = `{"fs.azure.account.key.<storageaccountname>.blob.core.windows.net":blobKey})`
巫马炫明
2023-03-14

我的理解是,Key名称是您试图从秘密范围中检索的“东西”。

我猜你创建了一个databricks支持的秘密范围,而不是Azure key vault支持的秘密范围?

然后,您应该在秘密范围内实际存储一个秘密。该秘密根据“密钥”存储(令人困惑的术语)。

https://docs.azuredatabricks.net/user-guide/secrets/secrets.html#create-a-secret-in-a-databrick-backed示波器

您拥有的代码正在尝试将该机密从机密范围中检索回来,并将其分配给

看看这个例子https://docs.azuredatabricks.net/user-guide/secrets/example-secret-workflow.html#use-笔记本中的秘密

val jdbcUsername = dbutils.secrets.get(scope = "jdbc", key = "username")

在此之前,需要创建一个密钥保管库,其中有一个已填充的机密名称用户名。然后这个代码去检索它

所以……你首先需要知道你想反对什么,然后把它放在秘密范围内。

例如,您可以通过简单地在代码中对该设置进行硬编码来使您的代码更简单但非常不安全

 类似资料:
  • 我正在数据砖笔记本上运行这个 我得到了这个错误 原因:存储异常:服务器无法对请求进行身份验证。确保授权头的值格式正确,包括签名。 我尝试使用 以获取 Azure Blob 存储中的任何更新,但仍收到上述错误。

  • 我使用android应用程序中的以下代码将blob上传到Azure blob存储。注意:下面的参数是从我的web服务获取的签名url: 该代码对于小的blob来说运行良好,但是当blob达到一定的大小(取决于我测试的手机)时,我开始出现内存不足的异常。我想拆分这些blob并将它们分块上传。然而,我在网上找到的所有示例都是基于C#的,并且都在使用存储客户端库。我正在寻找一个Java/Android示

  • 我是Azure Databricks的新手,我的导师建议我在 https://aischool.microsoft.com/en-us/machine-learning/learning-paths/AI-platform-engineering-bootcamps/custom-machine-learning-bootcamp 据我所知,Azure Blob存储还没有设置,因此我运行的代码(以

  • 我正在使用Azure数据库。使用Microsoft学习网站上指定的文档,我设法将BLOB存储(ADLS Gen2)挂载到我的数据库。 但是,当我尝试列出已装入的存储的内容时,我收到以下错误: 我已经检查了权限,我的Service主体被分配了角色“STORAGE BLOB DATA CONTRIBUTOR”,它允许对我的存储容器进行R/W访问。 任何人都知道我错过了哪个部分来使它工作?将不胜感激。

  • 我正试图从azure blob存储中加载数据到delta lake。我正在使用下面的代码段 storage_account_name=“xxxxxxxxdev”storage_account_access_key=“xxxxxxxxxxxxxxxxxx” file_location=“wasbs://bicc-hdspk-eus-qc@xxxxxxxxdev.blob.core.windows.n

  • 我想使用Python中的Azure函数将JSON数据作为. json文件上传到Azure存储Blob。 因为我使用的是Azure函数,而不是实际的服务器,所以我不想(也可能无法)在本地内存中创建一个临时文件,并使用Azure blob存储客户端库v2将该文件上载到Azure blob存储。1对于Python(这里有参考链接)。因此,我想为Azure函数使用输出blob存储绑定(这里有参考链接)。