Azure Blobs C#客户端-使用多个过滤器服务器端

Question

我试图在我的程序中加载用于过滤的blob名称，然后在应用所有过滤器后，我计划下载并处理每个blob。目前，我们在存储中有大约30kblob，它们存储在容器中，如下所示：年/月/日/小时/file.csv（或file.json未处理的文件）

我的程序需要动态输入下载的开始和结束日期(最长30天)。使用Azure。Blobs.BlobContainerItem和方法GetBlobs允许我使用单个字符串前缀进行服务器端过滤。

如果我的日期是2020/06/01和2020/06/02，程序运行得非常快，需要大约2秒才能获得斑点并将其余的过滤器应用到它。然而，如果我有2020/05/30和2020/06/01，那么我无法输入月份前缀，因为它只需要1个字符串，所以我的前缀将仅为2020，这需要大约15秒才能完成。其余的过滤是在本地完成的，但最大的延迟是GetBlobs（）函数。

是否有其他方法从.NETCore应用程序在服务器端使用多个筛选器？

以下是相关功能：

        BlobContainerClient container = new BlobContainerClient(resourceGroup.Blob, resourceGroup.BlobContainer);
        var blobs = container.GetBlobs(prefix : CreateBlobPrefix(start, end))
            .Select(item=> item.Name)
            .ToList();
        blobs = FilterBlobList(blobs, filter, start, end);

    private string CreateBlobPrefix(DateTime start, DateTime end)
    {
        string prefix = null;
        bool sameYear = start.Year == end.Year;
        bool sameMonth = start.Month == end.Month;
        bool sameDay = start.Day == end.Day;
        if (sameYear)
        {
            prefix = start.Year.ToString();
            if (sameMonth)
            {
                if(start.Month<10)
                    prefix += "/0" + start.Month.ToString();
                else
                    prefix += "/" + start.Month.ToString();
                if (sameDay) 
                    if(start.Day<10)
                        prefix += "/0" + start.Day.ToString();
                    else
                        prefix += "/" + start.Day.ToString();
            }
        }
        return prefix;

编辑：下面是我最后是怎么做的。由于使用更好的指定前缀进行多个请求更快，我执行了以下操作：

< li >在选定的时间窗口中创建不同日期的列表(来自用户输入任何窗口的UI应用程序) < li >对于创建的每个前缀，我向Azure发送请求以获取blob < li >将所有blob名称连接到一个列表中 < li >通过对每个blob名称使用blob客户端来处理列表

这是代码：

        foreach (var blobPrefix in CreateBlobPrefix(start, end))
        {
            var currentList = container.GetBlobs(prefix: blobPrefix)
                .Select(item => item.Name)
                .ToList();
            blobs = blobs.Concat(currentList).ToList();
        }

Answer 1

您可以多次过滤，查找日期之间的公共分母：

首先使用字符串前缀按开始月份和年份 2020/05 进行筛选，然后在本地筛选确切的日期。

然后，您可以逐渐增加日/月过滤器，直到到达范围的末尾。

步进的粒度实际上取决于为给定的平均结果数调用Azure所需的时间。另一个优点是可以并行运行这些子查询。

我用过这个代码：

    var prefixDateFilters = Enumerable.Range(0, 1 + endDateInclusive.Subtract(startDateInclusive).Days)
                                      .Select(offset => startDateInclusive.AddDays(offset))
                                      .Select(date => $"{date.ToString(BlobFileDateTimeFormat)}").ToList();

    prefixFilters.AsParallel()
                 .Select(filter => containerClient.GetBlobs(prefix: filter))