在具有索引的小集合上，$查找/$排序性能较差

Question

我已经在SO上浏览了近10篇类似的帖子，但我仍然对我得到的结果感到困惑：在42K文档集合和19条记录集合之间的单个$查找聚合上，在外部字段上进行排序需要5秒。也就是798K的总向量积。

不幸的是，在这里，非规范化不是一个很好的选择，因为“to”集合中的文档被大量共享，并且在进行更改时需要在整个数据库中进行大量更新。

话虽如此，我似乎不明白为什么接下来要花这么长时间。我觉得我一定做错了什么。

上下文：

>

一个4 vCPU、16 GB RAM VM作为单个节点副本集运行Debian 10/MongoDB 4.4，仅此而已。完全更新。NET MongoDB驱动程序（我刚刚更新并重新测试）

聚合中有一个查找，“from”集合有42K个文档，“to”集合有19个文档。

所有聚合、索引和集合都使用默认排序规则。

“to”集合中的外部字段具有索引。是的，只是为了那19张唱片，以防万一会有所不同。

其中一篇关于慢速$查找性能的帖子提到，如果$查找阶段的嵌套管道中没有使用$eq，它将不会使用索引。因此，我确保聚合管道使用$eq操作符。

管道是这样的：

[{ "$lookup" : 
    { "from" : "4", 
    "let" : { "key" : "$1" }, 
    "pipeline" : 
        [{ "$match" : 
            { "$expr" : 
                { "$eq" : ["$id", { "$substrCP" : ["$$key", 0, { "$indexOfCP" : ["$$key", "_"] }] }] } } }, 
        { "$unwind" : { "path" : "$RF2" } }, 
        { "$match" : { "$expr" : { "$eq" : ["$RF2.id", "$$key"] } } }, 
        { "$replaceRoot" : { "newRoot" : "$RF2" } }], 
    "as" : "L1" } }, 
{ "$sort" : { "L1.5" : 1 } },
{ "$project" : { "L1" : 0 } }, 
{ "$limit" : 100 }]

去掉嵌套的$unwind/$match/$replaceRoot组合会占用大约30%的运行时间，将其缩短到3.5秒，但是，这些阶段对于链接/查找到适当的子文档是必要的。在0.5秒内对“from”集合进行排序，无需查找。

我做错了什么？提前感谢！

编辑：

我刚刚用一组更大的记录测试了同样的事情（“from”集合中的38K记录，“to”集合中的26K记录，一对一的关系）。完成排序花了7分钟以上。我在Compass中检查并看到“id”上的索引实际上正在使用（在7分钟内不断刷新并看到它上升，我目前是数据库的唯一用户）。

这是一条比第一条更简单的管道：

[{ "$lookup" : 
    { "from" : "1007", 
    "let" : { "key" : "$13" }, 
    "pipeline" : 
        [{ "$match" : 
            { "$expr" : { "$eq" : ["$id", "$$key"] } } }], 
    "as" : "L1" } }, 
{ "$sort" : { "L1.1" : -1 } }, 
{ "$project" : { "L1" : 0 } }, 
{ "$limit" : 100 }]

考虑到上述信息，7分钟听起来合理吗？

编辑2：

shell代码创建两个40k记录集合（prod和prod2），两个字段（name： string， uid： integer）：

var randomName = function() { 
    return (Math.random()+1).toString(36).substring(2); 
}

for (var i = 1; i <= 40000; ++i) { 
    db.test.insert({ 
        name: randomName(), 
        uid: i }); 
}

我在prod2的“uid”字段上创建了一个索引，将Compass的示例文档限制增加到50k，然后只进行了以下查找，这花费了整整两分钟的时间进行计算：

{ from: 'prod2', 
localField: 'uid', 
foreignField: 'uid', 
as: 'test' }

编辑3：

我刚刚还直接从shell运行了聚合管道，并在几秒钟内而不是两分钟内获得了结果：

db.test1.aggregate([{ $lookup:
{ from: 'test2', 
  localField: 'uid', 
  foreignField: 'uid', 
  as: 'test' } }]).toArray()

是什么导致炮弹和指南针以及。网络驱动程序？

Answer 1

对于任何无意中读到这篇文章的人来说，以下内容对我很有用：使用$lookup操作符的localField/foreignField版本。

在Compass中监视索引时，let/管道和localField/外国字段版本都达到了适当的索引，但在使用let/管道版本时速度慢了几个数量级。

我重新构造了查询构建逻辑，只使用localField/foreignField，这带来了很大的不同。