如何在多线程Python应用程序中共享单个SQLite连接

Question

我正在尝试编写一个多线程Python应用程序，其中在线程之间共享一个SQlite连接。我无法使它正常工作。真正的应用程序是一个小巧的Web服务器，但是以下简单代码演示了我的问题。

为了成功运行下面的示例代码，我需要进行哪些更改？

当我在THREAD_COUNT设置为1的情况下运行此程序时，它可以正常工作，并且数据库已按预期进行更新（即，字母“
X”被添加到SectorGroup列的文本值中）。

当我将THREAD_COUNT设置为大于1的任何值运行它时，除1以外的所有线程都会因SQLite相关异常而提前终止。不同的线程抛出不同的异常（没有可识别的模式），包括：

OperationalError: cannot start a transaction within a transaction

（发生在UPDATE声明上）

OperationalError: cannot commit - no transaction is active

（发生在.commit（）调用上）

InterfaceError: Error binding parameter 0 - probably unsupported type.

（发生在UPDATE和SELECT语句上）

IndexError: tuple index out of range

（这让我完全感到困惑，它发生在语句上group = rows[0][0] or ''，但仅在运行多个线程时才发生）

这是代码：

CONNECTION = sqlite3.connect('./database/mydb', detect_types=sqlite3.PARSE_DECLTYPES, check_same_thread = False)
CONNECTION.row_factory = sqlite3.Row

def commands(start_id):

    # loop over 100 records, read the SectorGroup column, and write it back with "X" appended.
    for inv_id in range(start_id, start_id + 100):

        rows = CONNECTION.execute('SELECT SectorGroup FROM Investment WHERE InvestmentID = ?;', [inv_id]).fetchall()
        if rows:
            group = rows[0][0] or ''
            msg = '{} inv {} = {}'.format(current_thread().name, inv_id, group)
            print msg
            CONNECTION.execute('UPDATE Investment SET SectorGroup = ? WHERE InvestmentID = ?;', [group + 'X', inv_id])

        CONNECTION.commit()

if __name__ == '__main__':

    THREAD_COUNT = 10

    for i in range(THREAD_COUNT):
        t = Thread(target=commands, args=(i*100,))
        t.start()

Answer 1

在线程之间共享连接是不安全的。至少您需要使用锁来序列化访问。还要阅读http://docs.python.org/2/library/sqlite3.html#multithreading，因为较旧的SQLite版本仍然存在更多问题。

check_same_thread在这方面，该选项故意未充分记录在文档中，请参阅http://bugs.python.org/issue16509。

您可以改为每个线程使用一个连接，也可以使用SQLAlchemy作为连接池（以及用于引导的非常有效的工作陈述和排队系统）。