用于查询Azure blob名称的快速机制

Question

我正在尝试在Azure中获取blob名称列表，并且我正在寻找使此操作显着更快的方法。在给定的子文件夹中，blob的数量可以超过150000个元素。Blob的文件名是一个编码的ID，这正是我真正需要得到的，但如果有一种方法只查询元数据或元数据的单个字段，我可以将其存储为某种元数据。

我发现一些简单的事情如下：

var blobList = container.ListBlobs(null, false);

从桌面运行可能需要 60 秒以上，在 Azure 中托管的 VM 上运行时通常需要大约 15 秒。这些时间是基于对一个空容器中125k blob的测试，并且在上传几个小时后，所以它们可以这么说，它们肯定有时间“解决”。

我尝试了多种变体，并尝试使用ListBlobSegmented，但它没有真正的帮助，因为该函数返回了许多我根本不需要的额外信息。我只需要blob名称，这样我就可以得到编码的ID，看看当前存储了什么，没有存储什么。

查询blob名称和提取编码Id有点时间敏感，因此如果我能将其缩短到1秒以下，我会很高兴。如果我将文件存储在本地，我可以在几毫秒内获得整个文件列表，但我必须为此使用Azure存储，因此这不是一个选项。

为了能够减少识别可用 Blob 所需的时间，我唯一能想到的就是跟踪要在给定文件夹中添加或删除的 blob 的名称，并将其存储在单独的 blob 中。然后，当我需要知道该文件夹中的 blob 名称时，我会使用元数据读取 blob，而不是使用 ListBlobs。我想另一种方法是以类似的方式使用Azure表存储，但似乎我被迫缓存有关容器中给定文件夹的信息。

有没有更好的方法来做到这一点，或者当你在一个文件夹中有成千上万的 blob 时，这通常是人们最终会做的事情？

Answer 1

如前所述，Azure Blob存储是一个存储系统，无法帮助您对内容进行索引。我们现在有了Azure搜索索引器，它对上传到Azure Blob存储的内容进行索引，请参阅https://azure.microsoft.com/en-us/documentation/articles/search-howto-indexing-azure-blob-storage/有了它，您可以执行Azure Search支持的所有功能，例如列表、搜索、分页、排序等。希望这有帮助。