python和sqlite3的插入性能

Question

我正在向SQLite3数据库中进行大批量插入，并且试图了解我应该期望的性能与实际看到的性能之间的关系。

我的桌子看起来像这样：

cursor.execute(
            "CREATE TABLE tweets(
             tweet_hash TEXT PRIMARY KEY ON CONFLICT REPLACE,
             tweet_id INTEGER,
             tweet_text TEXT)"
        )

和我的插入看起来像这样：

cursor.executemany("INSERT INTO tweets VALUES (?, ?, ?)", to_write)

to_write元组列表在哪里。

目前，50 000在一台2008年的Macbook上运行，在数据库中大约有1200万行的情况下，插入行花了我大约16分钟的时间。

这听起来合理吗，还是发生了什么大事？

Answer 1

据我了解，性能不佳的主要原因是浪费时间来执行许多SQLite事务。该怎么办？

删除索引，然后

PRAGMA synchronous = OFF (or NORMAL)

插入N行的块（定义N，尝试N = 5000开始）。在插入块之前

BEGIN TRANSACTION

插入后做

COMMIT

另请参见http://www.sqlite.org/faq.html#q19