在python中使用线程时如何保持文件写入顺序

Question

我有一些python代码来读取文件并将数据推送到列表中。然后把这个列表放到队列中，用线程处理这个列表，比如说一次20个项目。处理后，我将结果保存到一个新文件中。新文件中的内容实际上与原始文件的顺序不同。例如，我有输入，

    1    a
    2    b
    3    c
    4    a
    5    d

但是输出看起来像：

    2    aa
    1    ba
    4    aa
    5    da
    3    ca

有没有办法保持原来的秩序？这是我的代码：

    import threading,Queue,time,sys
    class eSS(threading.Thread):
        def __init__(self,queue):
            threading.Thread.__init__(self)
            self.queue = queue
            self.lock = threading.Lock()
        def ess(self,email,code,suggested,comment,reason,dlx_score):
            #do something
        def run(self):
            while True:
                info = self.queue.get()
                infolist = info.split('\t')
                email = infolist[1]
                code = infolist[2]
                suggested = infolist[3]
                comment = infolist[4]
                reason = infolist[5]
                dlx_score = (0 if infolist[6] == 'NULL' else int(infolist[6]))
                g.write(info + '\t' + self.ess(email,code,suggested,comment,reason,dlx_score) +'\r\n')
                self.queue.task_done()

    if __name__ == "__main__":
        queue = Queue.Queue()
        filename = sys.argv[1]
        #Define number of threads
        threads = 20
        f = open(filename,'r')
        g = open(filename+'.eSS','w')
        lines = f.read().splitlines()
        f.close()
        start = time.time()
        for i in range(threads):
            t = eSS(queue)
            t.setDaemon(True)
            t.start()
        for line in lines:
            queue.put(line)     
        queue.join()
        print time.time()-start
        g.close()

Answer 1

我想到了三个想法。所有的共同点是在排队等待处理的数据包中包含一个索引。

• 一种想法是使用控制器/工人/输出框架，其中输出线程将工人处理的数据解队列、组装并输出。
• 第二个想法是使用内存映射文件作为输出，并使用索引来计算写入文件的偏移量（假设可能是固定长度的写入）。
• 第三种是使用索引将处理过的数据放入一个新列表中，当列表完成时，在末尾而不是动态地写入项目。