当前位置: 首页 > 知识库问答 >
问题:

如何在Azure数据工厂中为Blob接收器定义滚动文件大小?

松建本
2023-03-14

我想将大型数据库表复制到 Azure Blob 存储,但我希望 Azure Blob 存储中的每个文件不超过特定大小。是否有某种方法可以在 Azure 数据工厂中定义此类滚动更新大小?因为我看不到任何东西。

共有1个答案

督灿
2023-03-14

Microsoft Azure 没有为每个容器提供限制。Azure 提供块 Blob 或追加 blob 中的最大块数为 (50,000 个块),块 Blob 中块的最大大小为 (4000 MiB)和块 blob 的最大大小为 (50,000 X 4000 MiB (约 190.7 TiB))。根据要求,在移动到 Azure Blob 之前,必须限制大型数据库表中的某些数据。请参考 Azure 订阅限制和配额 - Azure 资源管理器|微软文档

 类似资料:
  • 我需要在Azure数据工厂中创建一个调度触发器(它将在3小时内每15分钟运行一次),当在Azure Blob存储容器中创建三个不同的文件时,该触发器将通过管道传输。只有在blob容器中创建了所有3个文件时,才应开始管道执行。例如,如果3个小时过去了,并且存储blob中只有两个文件,则管道将不必运行。

  • 我的应用程序见解中有一个“持续导出”过程,该过程基于我的新见解创建新文件。 除此之外,我有一个过程,使用Azure数据工厂,用Blob存储数据加载一个SQL表。 问题是:我不能从ADF读取数据,只能从Blob存储中读取新文件,而且我总是在处理相同的数据。此时,我忽略了SQL存储过程中加载过程后的重复数据,但我想通过只从Blob存储中读取新数据来提高这个过程的效率,我可以从ADF读取新数据吗?有人能

  • 如何将 avro 文件从 Blob 存储加载到 Azure 数据工厂 移动数据流?我正在尝试加载,但无法导入架构和预览。我在 Blob 中的 avro 文件是事件中心捕获函数的结果。我必须使用 Azure 数据工厂的移动数据流将数据从 Azure blob 移动到 Azure sql db。

  • 我在 Azure 数据工厂中具有事件触发器,它在 Azure Blob 存储中创建新 Blob 时触发。但我的触发器在创建 Blob 时没有触发。 已按照以下链接进行操作,但卡在下面提到的点:Azure 数据工厂:事件未启动管道。 环境详情: 事件网格已注册,ADF为v2并将参数传递给管道。我的问题是我是否需要激活Azure存储事件订阅?如果是这样,我的事件处理程序应该是什么(在我的情况下是ADF

  • 我正在改进我的Azure数据工厂印章,比较复制活动性能和映射数据流写入Azure Blob存储中的单个CSV文件。 当我通过Azure Blob存储链接服务(azureBlobLinkedService)通过数据集(azureBlobSingleCSVFileNameDataset)写入单个CSV时,使用复制活动在Blob存储容器中获得我期望的输出。例如,MyData的输出文件。csv在文件夹/o

  • 我们有一个将文件复制到Azure文件服务器的外部源。文件大小约为10GB。我想在Azure文件服务器上使用Azure Data Factory完成文件复制后,立即将此文件复制到Azure Blob存储。供应商无法将此文件复制到Blob容器。有人能帮我配置什么类型的触发器吗。我可以手动复制,但我正在寻找是否可以实现自动化。我甚至不能安排这个活动,因为来自外部源的文件副本是随机的。 谢谢