提高SQL性能：多次插入或更新多个表

Question

将excel的大数据导入到MySQL数据库需要很长时间，那么如何提高性能呢？

Excel数据喜欢以下内容：

学生表

床单课程

MySQL的表喜欢如下：

学生桌

CREATE TABLE IF NOT EXISTS `student`(
   `id` INT UNSIGNED AUTO_INCREMENT,
   `name` VARCHAR(100) NOT NULL,
   `status` INT,
   `course_id` INT NOT NULL,
   PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

资源表

CREATE TABLE IF NOT EXISTS `course`(
   `id` INT UNSIGNED AUTO_INCREMENT,
   `reference_id` INT UNSIGNED,
   `course_code` VARCHAR(100) NOT NULL,
   `course_qulity` INT NOT NULL,
   PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

图像的浅灰色区域可能会得到改善，但我不知道如何对其进行优化。使用内部联接查询学生表和课程表是一种很好的方法。但是插入和更新操作无法工作。

excel数据太大时，导入过程将花费很长时间。

更新

当同一个excel多次导入时，MySQL的数据会根据excel数据进行更新<student表中的code>name和course\u id字段确定行数据是否唯一<代码>参考id和课程表中的课程字段确定行数据是否唯一。

Answer 1

加快导入/插入/更新的一些想法：

>

在块中插入数据-为了优化插入速度，将许多小操作合并到一个大操作中。理想情况下，您可以建立一个连接，一次发送许多新行的数据，并将所有索引更新和一致性检查延迟到最后。在实践中，您可以使用这种查询结构插入记录组，例如在每条INSERT语句中插入1000条记录，而不是一次对一条记录执行INSERT：

将值（value1，value2）（value1，value2）插入到表名称（列列表）中。。。（价值1、价值2）

从附近的位置加载数据—如果要将GB或TB的数据加载到远程服务器，请记住，无论实际将记录插入数据库需要多长时间，SQL客户端都需要将该数据传输到该服务器。因此，网络可能是一个重要的瓶颈。此外，打开和关闭每个插入（或一组插入）上的连接，对于大型SQL转储而言，可能会花费大量时间。因此，理想情况下，您应该将文件传输到数据库服务器一次，然后从本地文件系统加载它。

Answer 2

如果可以使用一条语句对整个表（或表的子集）执行操作，则数据库运行速度会快得多。一次做一排事情是很慢的。两个批处理语句可以替换流程图。

1. 将每个Excel工作表转储到CSV文件中。
2. 将每个CSV加载到MySQL中的暂存表中。
3. 使用批处理操作来清除数据（如果需要）。
4. 使用批处理操作将数据复制到实际表中。

第四步中的“批量”是指

INSERT INTO ... SELECT ... FROM ...;

或者（正如托尔斯坦所提到的）

INSERT INTO ... SELECT ... FROM ...
    ON DUPLICATE KEY UPDATE ...;

或者有时，这里的两步过程可能是有用的。