避免聚合16MB限制

Question

我收集了大约1M个文档。每个文档都有internalNumber属性，我需要internalNumber在node.js代码中获取所有。

以前我在用

db.docs.distinct("internalNumber")

要么

collection.distinct('internalNumber', {}, {},(err, result) => { /* ... */ })

在Node中。

但是随着集合的增长，我开始出现错误：distinct is too big, 16m cap。

现在，我想使用聚合。它消耗大量内存，速度很慢，但是可以，因为我在脚本启动时只需要执行一次。我在Robo 3T GUI工具中尝试了以下操作：

db.docs.aggregate([{$group: {_id: '$internalNumber'} }]);

它有效，我想按以下方式在node.js代码中使用它：

collection.aggregate([{$group: {_id: '$internalNumber'} }],
  (err, docs) => { /* ... * });

但是在Node中，我收到一个错误："MongoError: aggregation result exceeds maximum document size (16MB) at Function.MongoError.create"。

请帮助克服该限制。

Answer 1

问题在于，本机驱动程序与默认情况下shell方法的工作方式不同，因为“ shell”实际上返回的“ cursor”对象，其中本机驱动程序“显式”需要此选项。

没有“光标”的情况下，.aggregate()将单个BSON文档作为文档数组返回，因此我们将其变为游标以避免这种限制：

let cursor = collection.aggregate(
  [{ "$group": { "_id": "$internalNumber" } }],
  { "cursor": { "batchSize": 500 } }
);

cursor.toArray((err,docs) => {
   // work with resuls
});

然后，您可以使用常规方法，例如.toArray()使结果成为“客户端”上没有相同限制的JavaScript数组，或使用其他方法来迭代“游标”。