在不同进程之间共享列表？

Question

我有以下问题。我编写了一个函数，该函数将列表作为输入并为列表中的每个元素创建一个字典。然后，我想将此字典追加到新列表中，以便获得字典列表。我正在尝试为此生成多个进程。我在这里的问题是，我希望不同的进程访问字典列表，因为它由其他进程更新，例如，一旦达到一定长度，就打印一些东西。

我的例子是这样的：

import multiprocessing

list=['A', 'B', 'C', 'D', 'E', 'F']

def do_stuff(element):
    element_dict={}
    element_dict['name']=element
    new_list=[]
    new_list.append(element_dict)
    if len(new_list)>3:
        print 'list > 3'

###Main###
pool=multiprocessing.Pool(processes=6)
pool.map(do_stuff, list)
pool.close()

现在我的问题是每个过程都创建自己的过程new_list。有没有一种方法可以在进程之间共享列表，以便所有字典都附加到同一列表中？还是定义new_list函数外部的唯一方法？

Answer 1

一种方法是使用管理器对象并从中创建共享列表对象：

from multiprocessing import Manager, Pool

input_list = ['A', 'B', 'C', 'D', 'E', 'F']

manager = Manager()
shared_list = manager.list()

def do_stuff(element):
    global shared_list
    element_dict = {}
    element_dict['name'] = element
    shared_list.append(element_dict)
    if len(shared_list) > 3:
        print('list > 3')

pool = Pool(processes=6)
pool.map(do_stuff, input_list)
pool.close()

请记住，与线程不同，进程不共享内存空间。（产生时，每个进程都会获得其产生的内存足迹的副本，然后与之一起运行。）因此，它们只能通过某种形式的IPC进行通信（进程间通信）。在Python中，一种这样的方法是multiprocessing.Manager及其公开的数据结构，例如list或dict。它们在代码中的用法与它们的内置等效项一样容易，但是在后台使用了某种形式的IPC（可能是套接字）。