如何将*大*数据块导入PostgreSQL？

Question

我有一个看起来像这样的数据结构：

Model Place
    primary key "id"

    foreign key "parent" -> Place
    foreign key "neighbor" -> Place (symmetryc)
    foreign key "belongtos" -> Place (asymmetric)

    a bunch of scalar fields ...

我在模型表中有超过500万行，我需要在两个外键表的每一个中插入 约5000万 行。我的SQL文件看起来像这样：

INSERT INTO place_belongtos (from_place_id, to_place_id) VALUES (123, 456);

它们每个约为 7 Gb 。问题是，当我这样做时psql < belongtos.sql，大约需要 12个小时 才能在AMD
Turion64x2 CPU上导入 约400万
行。操作系统是Gentoo〜amd64，PostgreSQL是版本8.4，在本地编译。数据目录是一个绑定安装，位于我的第二个扩展分区（ext4）上，我相信这不是瓶颈。

我怀疑插入外键关系会花费很长时间，因为psql检查每一行的键约束，这可能会增加一些不必要的开销，据我所知，该数据是有效的。有没有一种方法可以加快导入速度，即暂时禁用约束检查？

Answer 1

1. 确保两个外键约束都是DEFERRABLE
2. 使用COPY加载数据
3. 如果您不能使用COPY，请为您的INSERT使用准备好的语句。
4. Propper配置设置也将有所帮助，请检查WAL设置。