当前位置: 首页 > 知识库问答 >
问题:

从 ADLS 第 2 代 blob 存储获取最新数据,以在 Azure 数据砖中装载的表

艾茂学
2023-03-14

我在Azure DataBricks中使用装载路径创建了一个非托管表,如下所示:

CREATE TABLE <Table-Name> using org.apache.spark.sql.parquet OPTIONS (path "/mnt/<folder>/<subfolder>/")

挂载路径的来源是存储在ADLS Gen2中的拼花文件。我看到如果底层数据在ADLS Gen 2 blob存储路径中发生变化,它不会反映在ADB中创建的非托管表中。此ADB表仍然保存创建表时blob存储中可用的数据。有什么方法可以将最新数据从blob存储放入ADB中的表中吗?

共有1个答案

水瀚漠
2023-03-14

有许多人建议使用,

   REFRESH TABLE <table-name>

https://docs.databricks.com/data/tables.html#update-a-table

但这对我来说从未奏效。

下面的人认为它起作用了。

yourdataframe.write.mode("overwrite").saveAsTable("test_table")
 类似资料:
  • 我正在尝试将一个blob存储从我的存储帐户映射到我的databricks集群。我正在跟踪这个链接,显然我只需要在我的笔记本上执行这段代码: 代码蟒蛇: 我被困在参数中:< code>(scope = " 在Database ricks CLI上尝试过:

  • 我想知道我的数据块代码是否寻址到正确的位置,以及“contributor”权限是否足以访问存储。 我有Azure Storage Gen 2和名为staging的容器。(Azure门户中的Url为https://datalaketest123.blob.core.windows.net/staging) 我已使用Azure Databricks安装了Azure Storage Gen 2 我已经配

  • 我正试图从azure blob存储中加载数据到delta lake。我正在使用下面的代码段 storage_account_name=“xxxxxxxxdev”storage_account_access_key=“xxxxxxxxxxxxxxxxxx” file_location=“wasbs://bicc-hdspk-eus-qc@xxxxxxxxdev.blob.core.windows.n

  • 我正在数据砖笔记本上运行这个 我得到了这个错误 原因:存储异常:服务器无法对请求进行身份验证。确保授权头的值格式正确,包括签名。 我尝试使用 以获取 Azure Blob 存储中的任何更新,但仍收到上述错误。

  • 我是数据库管理员的新手。我编写示例代码来读取Azure数据库管理员中的存储Blob。 它抛出错误: 我猜它在WASBS链接中没有附加SAS令牌,所以它没有读取数据的权限。 如何在wasbs链接中连接SAS。

  • 我的应用程序见解中有一个“持续导出”过程,该过程基于我的新见解创建新文件。 除此之外,我有一个过程,使用Azure数据工厂,用Blob存储数据加载一个SQL表。 问题是:我不能从ADF读取数据,只能从Blob存储中读取新文件,而且我总是在处理相同的数据。此时,我忽略了SQL存储过程中加载过程后的重复数据,但我想通过只从Blob存储中读取新数据来提高这个过程的效率,我可以从ADF读取新数据吗?有人能