当前位置: 首页 > 编程笔记 >

Node.js下向MySQL数据库插入批量数据的方法

鄢承运
2023-03-14
本文向大家介绍Node.js下向MySQL数据库插入批量数据的方法,包括了Node.js下向MySQL数据库插入批量数据的方法的使用技巧和注意事项,需要的朋友参考一下

项目(nodejs)中需要一次性插入多笔数据到数据库,数据库是mysql的,由于循环插入的性能太差,就像使用批量插入的方法提高数据的插入性能。

批量插入的数据库的表结构如下:

1.数据库连接

var mysql = require('mysql');
// 数据库信息
var connection = mysql.createConnection({
 host  : 'localhost',
 user  : '数据库用户名',
 password : '数据库登录密码',
 database : '操作数据库名'
});

将插入数据转换成嵌套数组

例如要插入的两条数据:

记录1:

from:"index" 
to:“www.alibaba.com”
status:1
is_new:0

记录2:

from:"index1"
to:"www.google.com"
status:1
is_new:0

转为一下格式:

var values = [
 ["index","www.alibaba.com",1,0],
 ["index1","www.google.com",1,0]
];

编写插入语句

var sql = "INSERT INTO url(`from`,`to`,`status`, `is_new`) VALUES ?";

调用query函数完成数据的插入

connection.query(sql, [values], function (err, rows, fields) {
 if(err){
    console.log('INSERT ERROR - ', err.message);
    return;
   }
   console.log("INSERT SUCCESS");
});

完整代码:

var mysql = require('mysql');
// 数据库信息
var connection = mysql.createConnection({
 host  : 'localhost',
 user  : '数据库用户名',
 password : '数据库登录密码',
 database : '操作数据库名'
});
var values = [
 ["index","www.alibaba.com",1,0],
 ["index1","www.google.com",1,0]
];
var sql = "INSERT INTO url(`from`,`to`,`status`, `is_new`) VALUES ?";
connection.query(sql, [values], function (err, rows, fields) {
 if(err){
    console.log('INSERT ERROR - ', err.message);
    return;
   }
   console.log("INSERT SUCCESS");
});

同时在这里记录一个基于事务的操作(还没有实践,具体效果不详)

用事务循环插入、如果有一条插入失败进行回滚

mysql模块、connection.beginTransaction是做事务

然后我这里封装了一个函数、对传入的数组做循环插入或更新之类的操作、如果有一条失败了就回滚、全对了就commit

总结

以上所述是小编给大家介绍的Node.js下向MySQL数据库插入批量数据,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对小牛知识库网站的支持!

 类似资料:
  • 我创建了一个向MySql数据库插入数百万个值的程序。我读到过有关批插入的文章,它将优化我的程序并使其更快,但当我尝试这样做时,它以同样的方式工作。我没有将每个值插入数据库,而是每次将500个值保存在一个列表中,然后将它们插入一个大循环中,如下所示: 然后我删除列表中的所有值,并再次开始收集500个值。它不应该工作得更好吗? 我的插入代码是: 我有一些问题: 1。为什么当我批量插入时它不能更快地工作

  • 本文向大家介绍MySQL批量插入数据脚本,包括了MySQL批量插入数据脚本的使用技巧和注意事项,需要的朋友参考一下 MySQL批量插入数据脚本 新建表格就可以了 插入十万的数据为./jiaoben.sh 100000

  • 本文向大家介绍JDBC连接MySQL数据库批量插入数据过程详解,包括了JDBC连接MySQL数据库批量插入数据过程详解的使用技巧和注意事项,需要的朋友参考一下 这篇文章主要介绍了JDBC连接MySQL数据库批量插入数据过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 1.读取本地json数据 2.jdbc理解数据库 3.批量插入 maven

  • 本文向大家介绍mysql大批量插入数据的4种方法示例,包括了mysql大批量插入数据的4种方法示例的使用技巧和注意事项,需要的朋友参考一下 前言 本文主要给大家介绍了关于mysql大批量插入数据的4种方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧 方法一:循环插入 这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源。 大致思维如下 (我这里写

  • 问题内容: 我有一些要导入mySQL的CSV数据文件。我想在shell脚本中进行插入,以便可以将其自动化。但是,我对在脚本中使用明文形式输入用户名和密码感到有些厌倦 我有以下问题: 我对脚本中明文中的uname / pwd的想法感到不满意(反正还是这样,还是我太偏执)?也许我可以为插入表设置仅具有INSERT特权的用户? 数据库表(导入原始数据的数据库表)具有基于表列的唯一键。我尝试导入的数据中也

  • 本文向大家介绍使用JDBC在MySQL数据库中如何快速批量插入数据,包括了使用JDBC在MySQL数据库中如何快速批量插入数据的使用技巧和注意事项,需要的朋友参考一下 使用JDBC连接MySQL数据库进行数据插入的时候,特别是大批量数据连续插入(10W+),如何提高效率呢? 在JDBC编程接口中Statement 有两个方法特别值得注意: Adds a set of parameters to t