我想知道使用Node.js将大量插入Mongodb(尽管可能是任何其他数据库)的正确方法是什么
我以下面的代码为例,尽管我相信它是底层的,因为db.close()可以在所有异步collection.insert调用完成之前运行。
MongoClient.connect('mongodb://127.0.0.1:27017/test', function (err, db) {
var i, collection;
if (err) {
throw err;
}
collection = db.collection('entries');
for (i = 0; i < entries.length; i++) {
collection.insert(entries[i].entry);
}
db.close();
});
如果您的MongoDB服务器是2.6或更高版本,最好利用写命令 Bulk
API
来执行大容量插入操作,这些操作只是服务器顶部的抽象,以便于构建大容量操作,并且因此,随着您对大型馆藏的更新,性能会有所提高。
批量发送批量插入操作会减少服务器的流量,从而通过不发送所有单独语句中的所有内容,而是将其拆分为可管理的大块来进行服务器承诺,从而执行高效的有线交易。使用这种方法,也减少了在回调中等待响应的时间。
这些批量操作主要有两个方面:
请注意,对于低于2.6的旧服务器,API将下转换操作。但是,不可能将100%下变频,因此在某些极端情况下无法正确报告正确的数字。
在您的情况下,您可以批量执行批量API插入操作,如下所示:
对于MongoDB 3.2+, 使用 bulkWrite
var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] // a huge array containing the entry objects
var createNewEntries = function(db, entries, callback) {
// Get the collection and bulk api artefacts
var collection = db.collection('entries'),
bulkUpdateOps = [];
entries.forEach(function(doc) {
bulkUpdateOps.push({ "insertOne": { "document": doc } });
if (bulkUpdateOps.length === 1000) {
collection.bulkWrite(bulkUpdateOps).then(function(r) {
// do something with result
});
bulkUpdateOps = [];
}
})
if (bulkUpdateOps.length > 0) {
collection.bulkWrite(bulkUpdateOps).then(function(r) {
// do something with result
});
}
};
对于MongoDB <3.2
var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] // a huge array containing the entry objects
var createNewEntries = function(db, entries, callback) {
// Get the collection and bulk api artefacts
var collection = db.collection('entries'),
bulk = collection.initializeOrderedBulkOp(), // Initialize the Ordered Batch
counter = 0;
// Execute the forEach method, triggers for each entry in the array
entries.forEach(function(obj) {
bulk.insert(obj);
counter++;
if (counter % 1000 == 0 ) {
// Execute the operation
bulk.execute(function(err, result) {
// re-initialise batch operation
bulk = collection.initializeOrderedBulkOp();
callback();
});
}
});
if (counter % 1000 != 0 ){
bulk.execute(function(err, result) {
// do something with result
callback();
});
}
};
调用该 createNewEntries()
函数。
MongoClient.connect(url, function(err, db) {
createNewEntries(db, entries, function() {
db.close();
});
});
问题内容: 好,所以我有一个电子表格可以产生大量记录(〜3500) 我有以下脚本将它们插入到我的Access数据库中: 问题是,它会一条一条地循环遍历每个记录,每次都重建并执行查询,这导致执行速度非常慢(在我的PC上每秒大约有2-3条记录) 有没有一种方法可以让vba一次性将整个范围插入数据库,而无需循环遍历?谢谢 问题答案: 好,我傻 经过一番修补后,事实证明 循环外的位使其更快。
问题内容: 我在MySQL中用一个表创建了一个数据库: 我尝试使用Java插入记录: 输出似乎成功返回: 但是,当我从MySQL中选择时,插入的记录为空: 为什么插入空白记录? 问题答案: 不,这是行不通的(不适用于真实数据): 更改为: 使用该sql创建一个PreparedStatment,并使用索引插入值:
问题内容: 可以这样插入一行: 这种方法会自动注释掉任何特殊字符。 如何一次插入多行? 我需要实现这一点: 我可以只使用js字符串运算符手动编译此类行,但是随后我需要以某种方式添加特殊字符转义符。 问题答案: 下面这篇文章:性能提升,从PG-承诺库,其建议的方法: 完全按照您的情况使用的示例: 它也将与一系列对象一起工作: 更新1 有关通过单个查询的高性能方法,请参见使用pg-promise进行多
问题内容: 有没有办法一次插入多个记录而不是一次插入? 我有一个非常丑陋的耙子任务,正在做以下事情… 这必须非常低效,并且必须有更好的方法… 问题答案: 该方法也将数组作为参数。 但是,它仍然对每个条目执行一个SQL查询,而不是单个SQL查询。它效率更高,因为它只需要在后台创建一个activerecord对象。 如果要同时从同一客户端插入许多行,请使用带有多个VALUES列表的INSERT语句一次
我将一行一行地插入数据,但我在某处听说,如果有许多数据要插入,则需要很多时间。那么,如何一次将它们全部插入?
本文向大家介绍Node.js插件的正确编写方式,包括了Node.js插件的正确编写方式的使用技巧和注意事项,需要的朋友参考一下 Node.js在利用JavaScript编写后端方面效果拔群,值得我们多加尝试。不过如果大家需要一些无法直接使用的功能甚至是根本无从实现的模块使用,那么能否从C/C++库当中引入此类成果呢?答案是肯定的,大家要做的就是编写一款插件,并借此在自己的JavaScript代码中