Python：使用多处理池时，写入具有队列的单个文件

Question

我有成千上万的文本文件，希望通过各种方式进行解析。我想将输出保存到单个文件而不会出现同步问题。我一直在使用多处理池来节省时间，但是我不知道如何结合使用池和队列。

以下代码将保存infile名称以及文件中连续的“
x”的最大数量。但是，我希望所有进程将结果保存到同一文件中，而不是像示例中那样保存到不同文件中。任何帮助，将不胜感激。

import multiprocessing

with open('infilenamess.txt') as f:
    filenames = f.read().splitlines()

def mp_worker(filename):
 with open(filename, 'r') as f:
      text=f.read()
      m=re.findall("x+", text)
      count=len(max(m, key=len))
      outfile=open(filename+'_results.txt', 'a')
      outfile.write(str(filename)+'|'+str(count)+'\n')
      outfile.close()

def mp_handler():
    p = multiprocessing.Pool(32)
    p.map(mp_worker, filenames)

if __name__ == '__main__':
    mp_handler()

Answer 1

多处理池为您实现了一个队列。只需使用将工作程序返回值返回给调用方的池方法即可。imap运作良好：

import multiprocessing 
import re

def mp_worker(filename):
    with open(filename) as f:
        text = f.read()
    m = re.findall("x+", text)
    count = len(max(m, key=len))
    return filename, count

def mp_handler():
    p = multiprocessing.Pool(32)
    with open('infilenamess.txt') as f:
        filenames = [line for line in (l.strip() for l in f) if line]
    with open('results.txt', 'w') as f:
        for result in p.imap(mp_worker, filenames):
            # (filename, count) tuples from worker
            f.write('%s: %d\n' % result)

if __name__=='__main__':
    mp_handler()