使用Python批量将大量数据插入SQLite

Question

我读到这里：使用Python将CSV文件导入sqlite3数据库表

似乎每个人都建议使用逐行读取，而不是使用SQLite的bulk
.import。但是，如果您有数百万行的数据，这将使插入速度非常慢。还有其他方法可以避免这种情况吗？

更新：我尝试下面的代码逐行插入，但是速度不如我预期的那样。反正有改进的地方吗

for logFileName in allLogFilesName:
    logFile = codecs.open(logFileName, 'rb', encoding='utf-8')
    for logLine in logFile:
        logLineAsList = logLine.split('\t')
        output.execute('''INSERT INTO log VALUES(?, ?, ?, ?)''', logLineAsList)
    logFile.close()
connection.commit()
connection.close()

Answer 1

使用生成器表达式将您的数据即时划分为多个块，在事务内进行插入。这是来自sqlite优化常见问题的报价：

除非已经在事务中，否则每个SQL语句都会为其启动一个新的事务。这非常昂贵，因为它需要为每个语句重新打开，写入和关闭日志文件。可以通过使用BEGIN
TRANSACTION包装SQL语句序列来避免这种情况。和结束交易；陈述。对于不更改数据库的语句，也可以获得这种加速。

另外，sqlite能够导入CSV文件。