处理Mongodb连接的正确方法是什么？

Question

我使用10gen的本机node.js驱动器将mongodb（2.2.2）与node.js一起使用。

起初一切顺利。但是当涉及到并发基准测试部分时，会发生很多错误。频繁进行1000次并发连接/关闭可能会导致mongodb拒绝任何进一步的请求，并出现以下错误：

Error: failed to connect to [localhost:27017]

Error: Could not locate any valid servers in initial seed list

Error: no primary server found in set

另外，如果许多客户端在没有显式关闭的情况下关闭，则mongodb将花费几分钟的时间来检测并关闭它们。这也将导致类似的连接问题。（使用/var/log/mongodb/mongodb.log检查连接状态）

我已经尝试了很多。根据手册，mongodb没有连接限制，但是 poolSize 选项似乎对我没有影响。

因为我只在node-mongodb-native模块中使用过它，所以我不太确定最终导致问题的原因。其他语言和驱动程序的性能如何？

PS：当前，我想出了唯一的方法是使用自助池，但是使用它不能解决副本集的问题。根据我的测试，副本集似乎比独立的mongodb需要更少的连接。但是不知道为什么会这样。

并发测试代码：

var MongoClient = require('mongodb').MongoClient;

var uri = "mongodb://192.168.0.123:27017,192.168.0.124:27017/test";

for (var i = 0; i < 1000; i++) {
    MongoClient.connect(uri, {
        server: {
            socketOptions: {
                connectTimeoutMS: 3000
            }
        },
    }, function (err, db) {
        if (err) {
            console.log('error: ', err);
        } else {
            var col = db.collection('test');
            col.insert({abc:1}, function (err, result) {
                if (err) {
                    console.log('insert error: ', err);
                } else {
                    console.log('success: ', result);
                }
                db.close()
            })
        }
    })
}

通用池解决方案：

var MongoClient = require('mongodb').MongoClient;
var poolModule = require('generic-pool');

var uri = "mongodb://localhost/test";

var read_pool = poolModule.Pool({
    name     : 'redis_offer_payment_reader',
    create   : function(callback) {
        MongoClient.connect(uri, {}, function (err, db) {
            if (err) {
                callback(err);
            } else {
                callback(null, db);
            }
        });
    },
    destroy  : function(client) { client.close(); },
    max      : 400,
    // html" target="_blank">optional. if you set this, make sure to drain() (see step 3)
    min      : 200, 
    // specifies how long a resource can stay idle in pool before being removed
    idleTimeoutMillis : 30000,
    // if true, logs via console.log - can also be a function
    log : false 
});


var size = [];
for (var i = 0; i < 100000; i++) {
    size.push(i);
}

size.forEach(function () {
    read_pool.acquire(function (err, db) {
        if (err) {
            console.log('error: ', err);
        } else {
            var col = db.collection('test');
            col.insert({abc:1}, function (err, result) {
                if (err) {
                    console.log('insert error: ', err);
                } else {
                    //console.log('success: ', result);
                }
                read_pool.release(db);
            })
        }
    })
})

Answer 1

由于Node.js是单线程的，因此您不应该在每个请求上打开和关闭连接（就像在其他多线程环境中那样）。

这是写MongoDB node.js客户端模块的人的报价：

“当您的应用程序启动并重新使用db对象时，您只需打开一次MongoClient.connect。每个.connect都不是一个单例连接池。因此，请打开它并在所有请求中重用。”
-christkv https://groups.google.com/forum/#!msg/node-mongodb-
native/mSGnnuG8C1o/Hiaqvdu1bWoJ