具有ON DUPLICATE键更新的MySQL LOAD DATA INFILE

Question

为了将大量数据加载到MySQL中，LOAD DATA
INFILE
是迄今为止最快的选择。不幸的是，尽管可以通过INSERT IGNORE或REPLACE的方式使用它，但当前不支持ON DUPLICATE
KEY UPDATE。

但是，ON DUPLICATE KEY UPDATE具有的优势REPLACE。当存在重复项时，后者执行删除和插入操作。这带来了密钥管理的开销。另外，自动增量编号在替换时不会保持不变。

ON DUPLICATE KEY UPDATE使用LOAD DATA INFILE时如何模拟？

Answer 1

这些步骤可用于模拟此功能：

1）创建一个新的临时表。

CREATE TEMPORARY TABLE temporary_table LIKE target_table;

2）（可选）从临时表中删除所有索引，以加快处理速度。

SHOW INDEX FROM temporary_table;
DROP INDEX `PRIMARY` ON temporary_table;
DROP INDEX `some_other_index` ON temporary_table;

3）将CSV加载到临时表中

LOAD DATA INFILE 'your_file.csv'
INTO TABLE temporary_table
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
(field1, field2);

4）使用ON DUPLICATE KEY UPDATE复制数据

SHOW COLUMNS FROM target_table;
INSERT INTO target_table
SELECT * FROM temporary_table
ON DUPLICATE KEY UPDATE field1 = VALUES(field1), field2 = VALUES(field2);

5）删除临时表

DROP TEMPORARY TABLE temporary_table;

对于任何给定的表，使用SHOW INDEX FROM和SHOW COLUMNS FROM此过程都可以自动化。