如何遍历整个mongo数据库，因为它太大而无法加载？[重复]

Question

我必须为我公司的一位客户做一些数据处理。他们有一个大约4.7GB数据的数据库。我需要为每个文档添加一个字段，该字段使用mongo文档的两个属性和一个外部引用进行计算。

我的问题是，我不能收集。find（）是因为节点。js内存不足。迭代整个集合的最佳方式是什么？集合太大，无法通过单个调用加载，无法查找？

Answer 1

是的，有办法。Mongo设计用于处理大型数据集。

您可能正在运行内存溢出，不是因为db.collection.find（），而是因为您试图使用db.collection.find（）. toArray（）之类的东西一次性转储它。

对大于内存的结果集进行操作的正确方法是使用游标。以下是您在mongo控制台中的操作方法：

var outsidevars = {
   "z": 5
};

var manipulator = function(document,outsidevars) {
    var newfield = document.x + document.y + outsidevars.z;
    document.newField = newfield;
    return document;
};

var cursor = db.collection.find();

while (cursor.hasNext()) {
    // load only one document from the resultset into memory
    var thisdoc = cursor.next();
    var newnoc = manipulator(thisdoc,outsidevars);
    d.collection.update({"_id": thisdoc['_id']},newdoc);
};