如何使用光标。MongoDB中使用Node的forEach（）。js？

Question

我的数据库中有大量文档，我想知道如何浏览所有文档并更新它们，每个文档都有不同的值。

Answer 1

var MongoClient = require('mongodb').MongoClient,
    assert = require('assert');

MongoClient.connect('mongodb://localhost:27017/crunchbase', function(err, db) {

    assert.equal(err, null);
    console.log("Successfully connected to MongoDB.");

    var query = {
        "category_code": "biotech"
    };

    db.collection('companies').find(query).toArray(function(err, docs) {

        assert.equal(err, null);
        assert.notEqual(docs.length, 0);

        docs.forEach(function(doc) {
            console.log(doc.name + " is a " + doc.category_code + " company.");
        });

        db.close();

    });

});

请注意，调用。toArray正在使应用程序获取整个数据集。

var MongoClient = require('mongodb').MongoClient,
    assert = require('assert');

MongoClient.connect('mongodb://localhost:27017/crunchbase', function(err, db) {

    assert.equal(err, null);
    console.log("Successfully connected to MongoDB.");

    var query = {
        "category_code": "biotech"
    };

    var cursor = db.collection('companies').find(query);

    function(doc) {
        cursor.forEach(
                console.log(doc.name + " is a " + doc.category_code + " company.");
            },
            function(err) {
                assert.equal(err, null);
                return db.close();
            }
    );
});

请注意，find（）返回的光标被分配给var cursor。使用这种方法，我们将数据流传输到应用程序，而不是一次获取内存中的所有数据并消耗数据find（）可以立即创建游标，因为在我们尝试使用它提供的某些文档之前，它实际上不会向数据库发出请求。cursor的目的是描述我们的查询。第二个参数是光标。forEach显示当驱动程序耗尽或发生错误时该怎么做。

在上述代码的初始版本中，强制数据库调用的是toArray（）。这意味着我们需要所有文档，并希望它们位于数组中。

此外，MongoDB以批处理格式返回数据。下图显示了从游标（从应用程序）到MongoDB的请求

foreach比toArray更好，因为我们可以在文档进入时处理它们，直到我们到达结尾。将其与toArray进行对比-我们等待所有文档被检索并构建整个数组。这意味着我们没有从驱动程序和数据库系统一起工作以将结果批处理到您的应用程序这一事实中获得任何优势。批处理旨在在内存开销和执行时间方面提供效率。如果可以的话，在您的应用程序中利用它。

Answer 2

使用mongodb驱动程序和带有async/await的现代NodeJ，一个好的解决方案是使用next（）：

js prettyprint-override">const collection = db.collection('things')
const cursor = collection.find({
  bla: 42 // find all things where bla is 42
});
let document;
while ((document = await cursor.next())) {
  await collection.findOneAndUpdate({
    _id: document._id
  }, {
    $set: {
      blu: 43
    }
  });
}

这导致每次只需要在内存中存储一个文档，而不是在开始处理文档之前，将许多文档吸进内存的可接受答案。在“大量收藏”（根据问题）的情况下，这可能很重要。

如果文档很大，可以通过使用投影来进一步改进，以便只从数据库中获取所需的文档字段。

Answer 3

答案取决于你使用的驱动程序。我知道的所有MongoDB驱动程序都有游标。forEach（）以某种方式实现。

以下是一些例子：

collection.find(query).forEach(function(doc) {
  // handle
}, function(err) {
  // done or error
});

db.collection.find(query).forEach(function(err, doc) {
  // handle
});

collection.find(query, { stream: true })
  .each(function(doc){
    // handle doc
  })
  .error(function(err){
    // handle error
  })
  .success(function(){
    // final callback
  });

collection.find(query).stream()
  .on('data', function(doc){
    // handle doc
  })
  .on('error', function(err){
    // handle error
  })
  .on('end', function(){
    // final callback
  });

在. foreach回调中更新文档的唯一问题是您不知道何时更新所有文档。

要解决这个问题，您应该使用一些异步控制流解决方案。以下是一些选项：

• 异步
• promise（when.js，蓝鸟）

下面是一个使用async、使用其队列功能的示例：

var q = async.queue(function (doc, callback) {
  // code for your update
  collection.update({
    _id: doc._id
  }, {
    $set: {hi: 'there'}
  }, {
    w: 1
  }, callback);
}, Infinity);

var cursor = collection.find(query);
cursor.each(function(err, doc) {
  if (err) throw err;
  if (doc) q.push(doc); // dispatching doc to async.queue
});

q.drain = function() {
  if (cursor.isClosed()) {
    console.log('all items have been processed');
    db.close();
  }
}