mongodb-聚合失败，内存错误

Question

我正在尝试使用id字段在我的碎片集合中查找重复项，这是这种模式-

"id" : {
        "idInner" : {
            "k1" : "v1",
            "k2" : "v2",
            "k3" : "v3",
            "k4" : "v4"
        }
}

我使用了下面的查询，但收到了“异常：超出$group的内存限制，但不允许外部排序。通过allowDiskUse:true选择加入。”错误，尽管我在查询中使用了“allowDiskUse:true”。

db.collection.aggregate([
  { $group: {
    _id: { id: "$id" },
    uniqueIds: { $addToSet: "$_id" },
    count: { $sum: 1 } 
  } }, 
  { $match: { 
    count: { $gte: 2 } 
  } },
  { $sort : { count : -1} },
  { $limit : 10 }
], 
{ 
    allowDiskUse : true
});

有没有其他方法可以得到我想要的，或者我应该在上面的查询中传递其他东西？谢谢。

Answer 1

首先在管道中运行一个< code>$match,只保留一个范围内的< code>id.idiInner.k1的文档，这样就可以只获取该范围内的结果。因为您对< code>id键上的副本感兴趣，所以所有复制的文档都将满足这个标准。看看你应该把这个范围缩小多少，然后在下一个范围运行它，等等。直到覆盖所有文档。

如果这是您必须经常做的事情，请通过声明范围来自动化，循环馈送它们，保留每次运行的副本并最终合并结果。

另一个快速的黑客/技巧是绕过 mongos 并直接在每个分片中运行聚合。这样做会将您的文档大致限制（假设分片平衡良好）为 docs/number_of_shards，并且您可能会克服内存限制。在第二种方法中，我假设您的分片键是 id 键，但如果不是，那么这种方法将不起作用，因为相同的重复文档将分散在分片中。

Answer 2

请在运行命令中使用allowDiskTrue。

db.runCommand(
   { aggregate: "collection",
     pipeline: [
  { $group: {
    _id: { id: "$id" },
    uniqueIds: { $addToSet: "$_id" },
    count: { $sum: 1 } 
  } }, 
  { $match: { 
    count: { $gte: 2 } 
  } },
  { $sort : { count : -1} },
  { $limit : 10 }
],
     allowDiskUse: true
   }
)

让我知道这是否适合您。