INSERT IGNORE在mysql模式下使用h2抛出主键冲突

Question

我正在将Scopus数据抓取到h2文件数据库中。数据中有超过46,000,000条记录，每条记录都被视为不同的，这意味着重复数百GB的数据（因此是关系数据库）。为了减少所有这些数据的插入时间，我最初创建了一组没有约束的临时表，然后使用SELECT DISTINCT和GROUP BY将数据复制到真实表中以强制执行唯一性。

唯一的例外是“文档”( documents)表格和“参考文档”( referenced documents)表格。由于数据的格式，我可以保证每条记录都代表一个惟一的文档，所以我可以只插入到documents表中，然后只连接引用的documents表中id不在documents表中的行。

这是相关代码：

CREATE TABLE document (docid varchar NOT NULL, title varchar, abstract varchar, docType varchar NULL, ref boolean);

CREATE TABLE refdoc (refid varchar NOT NULL, title varchar);

INSERT INTO document (docid, title, abstract, docType, ref)
VALUES ('2-s2.0-0000098715', 'title', 'abstract', 'ab', 'false');

INSERT INTO refdoc (refid, title)
VALUES ('2-s2.0-0000098715', 'title'),
VALUES ('2-s2.0-33947184743', 'title');

ALTER TABLE document
ADD PRIMARY KEY (docid);

ALTER TABLE document
ADD FOREIGN KEY (docType) REFERENCES doctype(abbrev);

INSERT IGNORE INTO document (docid, title, ref)
SELECT refid, title, 'true' FROM refdoc;

< li >创建文档表格 < li >创建引用文档表 < li >在文档表中插入记录 < li >在refdoc表中插入两条记录，包括一条重复记录 < li >用主键改变文档表 < li >用外键改变文档表 < li >插入refdoc中与文档不冲突的行

插入忽略查询抛出:org.h2.jdbc.JdbcSQLException:唯一索引或主键冲突:" CONSTRAINT_INDEX_6 ON PUBLIC。文档(DOCID)

我还尝试使用不存在的地方:

INSERT INTO document (docid, title, ref)
SELECT refid, title, 'true'
FROM refdoc
WHERE NOT EXISTS (
SELECT refid FROM refdoc
INNER JOIN document
ON document.docid = refdoc.refid );

但是，尝试连接没有索引的表似乎实际上是不可能的——我尝试连接的任何东西都没有奏效。

作为最后的手段，我可以使用FileHashMap，只转储refdoc表的内容，然后构造一个巨大的PreparedStatement，如下所示:

INSERT INTO document (docid, title, ref)
SELECT ?, ?, 'true'
WHERE NOT EXISTS (
SELECT docid FROM document
WHERE docid = ? );

但我显然不想这么做，因为这需要很长时间。

Answer 1

终于找到了一个不涉及构造包含 100，000，000 条记录的批处理语句的解决方案。问题是我既需要强制我插入到文档中的 refdoc 尚未在文档表中，也需要我只插入 refdoc 表中的唯一行。在此之前，我的所有解决方案要么未能避免冲突，要么未能强制实施唯一性，要么涉及对没有索引的表的连接。

以下是解决方案SQL:

CREATE TABLE document (docid varchar NOT NULL, title varchar, abstract varchar, docType varchar NULL);

CREATE TABLE refdoc (refid varchar NOT NULL, title varchar);

INSERT INTO document (docid, title, abstract, docType)
VALUES ('2-s2.0-0000098715', 'title', 'abstract', 'ab');

INSERT INTO refdoc (refid, title)
VALUES ('2-s2.0-0000098715', 'title'),
VALUES ('2-s2.0-33947184743', 'title');

INSERT IGNORE INTO document (docid, title)
SELECT refid, MAX(title)
FROM refdoc
WHERE refid NOT IN (
SELECT docid FROM document )
GROUP BY refid;

ALTER TABLE document
ADD PRIMARY KEY (docid);

ALTER TABLE document
ADD FOREIGN KEY (docType) REFERENCES doctype(abbrev);

现在的逻辑是:

< li >创建文档表格 < li >创建引用文档表 < li >在文档表中插入记录 < li >在refdoc表中插入两条记录，包括一条重复记录 < li >插入refdoc中与文档不冲突且唯一的行 < li >用主键改变文档表 < li >用外键改变文档表

这还有一个额外的好处，即在插入完成之前不会为文档表编制索引。

我仍然不完全清楚为什么我在一个没有主键的表上遇到主键约束冲突，但这听起来像是要提交给h2github的错误报告。