无法获得 allowDiskUse：True 与 pymongo 一起工作

Question

我在使用pymongo进行mongodb聚合时遇到了< code >聚合结果超过最大文档大小(16MB)错误。

起初，我使用< code>limit()选项克服了这个问题。然而，在某个时候，我得到了

Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in." error.

好的，我将使用 {'allowDiskUse'：True} 选项。当我在命令行上使用它时，此选项有效，但是当我尝试在我的 python 代码中使用时，此选项有效

result = work1.aggregate(pipe, 'allowDiskUse:true')

我得到< code>TypeError: aggregate()正好接受2个参数(给定3个)错误。(尽管http://API . MongoDB . org/python/current/API/py mongo/collection . html # py mongo . collection . collection . aggregate:aggregate(pipeline，**kwargs)给出了定义)。

我尝试使用 runCommand，或者更确切地说，它是 pymongo 等价物：

db.command('aggregate','work1',pipe, {'allowDiskUse':True})

但现在我又回到了“聚合结果超过最大文档大小（16MB）”错误

如果你想知道的话

pipe = [{'$project': {'_id': 0, 'summary.trigrams': 1}}, {'$unwind': '$summary'}, {'$unwind': '$summary.trigrams'}, {'$group': {'count': {'$sum': 1}, '_id': '$summary.trigrams'}}, {'$sort': {'count': -1}}, {'$limit': 10000}]

谢谢你

Answer 1

因此，按顺序：

>

聚合是一种方法。它接受2个位置参数（隐式传递的＜code＞self＜/code＞和＜code＞pipeline＜/code>）和任意数量的关键字参数（必须以＜code＞foo＝bar＜/code＞的形式传递--如果没有＜code＞＝＜/code>符号，它就不是关键字参数）。这意味着您需要调用result=work1.aggregate（管道，allowDiskUse=True）。

关于最大文档大小的错误是Mongo固有的。Mongo永远不会返回大于16兆字节的文档(或其数组)。我不能告诉你为什么，因为你既没有给我们你的数据，也没有给我们你的代码，但这可能意味着你最终构建的文档太大了。尝试减少< code>$limit参数，也许？首先将它设置为1，运行一个测试，然后增加它，看看当你这样做时结果会变得多大。