Azure数据工厂-如何从Blob存储中仅读取新文件

Question

我的应用程序见解中有一个“持续导出”过程，该过程基于我的新见解创建新文件。

除此之外，我有一个过程，使用Azure数据工厂，用Blob存储数据加载一个SQL表。

问题是：我不能从ADF读取数据，只能从Blob存储中读取新文件，而且我总是在处理相同的数据。此时，我忽略了SQL存储过程中加载过程后的重复数据，但我想通过只从Blob存储中读取新数据来提高这个过程的效率，我可以从ADF读取新数据吗？有人能帮我吗？实现这一目标的替代方案有哪些？

致以最诚挚的问候，鲁伊·费尔南德斯

Answer 1

我建议您通过将旧Blob重命名为“Archive/oldBlobName”来以编程方式存档旧Blob（自定义管道）！完成此操作后，下次在代码中遍历分段Blob结果（您在数据集中指定的容器中包含的Blob列表）时，只需转义名称以“存档”开头的Blob。

        foreach (IListBlobItem listBlobItem in blobList.Results)
        {
            CloudBlockBlob inputBlob = listBlobItem as CloudBlockBlob;

            // Take all blobs from container that are not in "Archive"
            if ((inputBlob == null) || string.IsNullOrEmpty(inputBlob.Name)
                            || inputBlob.Name.ToLower().StartsWith("Archive"))
            {
                continue;
            }
                     ...

Answer 2

实现这一目标的替代方案有哪些？

如果WebJob是可接受的，我们可以很容易地用WebJob blob触发器来实现。我们可以从Azure官方文档中获得更多关于WebJob触发器的信息。

以下是演示代码:

 public static void ProcessBlobTrigger([BlobTrigger("containername/{name}")] TextReader input, TextWriter log)
        {
            // your logic to process data
        }