多个线程在Python中写入同一CSV

Question

我是Python多线程的新手，目前正在编写一个附加到csv文件的脚本。如果要向提交多个线程，则将concurrent.futures.ThreadPoolExecutor行追加到csv文件中。如果附加是这些线程执行的唯一与文件相关的操作，我该怎么做才能保证线程安全？

我的代码的简化版本：

with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    for count,ad_id in enumerate(advertisers):

        downloadFutures.append(executor.submit(downloadThread, arguments.....))
        time.sleep(random.randint(1,3))

我的线程类是：

def downloadThread(arguments......):

                #Some code.....

                writer.writerow(re.split(',', line.decode()))

我应该设置一个单独的单线程执行程序来处理编写，还是担心我是否只是追加？

编辑：我应该详细说明，下一次附加文件之间的分钟之间，写操作发生的时间可能会相差很大，我只是担心在测试我的脚本时不会发生这种情况，因此我希望对此进行介绍。

Answer 1

我不确定是否csvwriter是线程安全的。该文档未指定，因此为了安全起见，如果多个线程使用同一个对象，则应使用来保护用法threading.Lock：

# create the lock
import threading
csv_writer_lock = threading.Lock()

def downloadThread(arguments......):
    # pass csv_writer_lock somehow
    # Note: use csv_writer_lock on *any* access
    # Some code.....
    with csv_writer_lock:
        writer.writerow(re.split(',', line.decode()))

话虽如此downloadThread，将写任务提交给执行者可能确实更优雅，而不是像这样显式地使用锁。