多处理-共享复杂对象

Question

我有一个类似大型dict的对象，需要在多个工作进程之间共享。每个工作人员读取对象中信息的随机子集，并对其进行一些计算。我想避免复制大对象，因为我的机器很快耗尽了内存。

我正在处理此SO问题的代码，并对其进行了一些修改以使用固定大小的进程池，该池更适合于我的用例。然而，这似乎打破了它。

from multiprocessing import Process, Pool
from multiprocessing.managers import BaseManager

class numeri(object):
    def __init__(self):
        self.nl = []

    def getLen(self):
        return len(self.nl)

    def stampa(self):
        print self.nl

    def appendi(self, x):
        self.nl.append(x)

    def svuota(self):
        for i in range(len(self.nl)):
            del self.nl[0]

class numManager(BaseManager):
    pass

def produce(listaNumeri):
    print 'producing', id(listaNumeri)
    return id(listaNumeri)

def main():
    numManager.register('numeri', numeri, exposed=['getLen', 'appendi',
                        'svuota', 'stampa'])
    mymanager = numManager()
    mymanager.start()
    listaNumeri = mymanager.numeri()
    print id(listaNumeri)

    print '------------ Process'
    for i in range(5):
        producer = Process(target=produce, args=(listaNumeri,))
        producer.start()
        producer.join()

    print '--------------- Pool'
    pool = Pool(processes=1)
    for i in range(5):
        pool.apply_async(produce, args=(listaNumeri,)).get()

if __name__ == '__main__':
    main()

输出是

4315705168
------------ Process
producing 4315705168
producing 4315705168
producing 4315705168
producing 4315705168
producing 4315705168
--------------- Pool
producing 4299771152
producing 4315861712
producing 4299771152
producing 4315861712
producing 4299771152

如您所见，在第一种情况下，所有工作进程都获得相同的对象（按ID）。在第二种情况下，id不相同。这是否意味着正在复制对象？

PS：我认为这并不重要，但是我正在使用joblib，它在内部使用了Pool：

from joblib import delayed, Parallel

print '------------- Joblib'
        Parallel(n_jobs=4)(delayed(produce)(listaNumeri) for i in range(5))

输出：

------------- Joblib
producing 4315862096
producing 4315862288
producing 4315862480
producing 4315862672
producing 4315862352

Answer 1

恐怕这里实际上没有什么能像您 希望的那样 起作用:-(

首先请注意， 不同过程id()产生 的 相同值 不会
告诉您对象是否真的是同一对象。每个进程都有自己的虚拟地址空间，由操作系统分配。两个进程中的相同虚拟地址可以引用完全不同的 物理
内存位置。您的代码是否产生相同的id()输出几乎完全是偶然的。在多次运行中，有时我会id()在您的Process部分中看到不同的输出，并在您的部分中看到重复的id()输出，Pool反之亦然，或两者兼而有之。

其次，Manager提供 语义 共享而不提供 物理 共享。您numeri实例的数据 仅存
在于管理器进程中。您的所有辅助进程均查看（副本）代理对象。这些是精简包装，用于转发要由管理器进程执行的所有操作。这涉及许多进程间通信以及管理器进程内部的序列化。这是编写速度很慢的代码的好方法；-)是的，只有一个numeri数据副本，但是对数据的所有工作都由一个进程（管理器进程）完成。

为了更清楚地看到这一点，建议进行@martineau的更改，并更改get_list_id()为：

def get_list_id(self):  # added method
    import os
    print("get_list_id() running in process", os.getpid())
    return id(self.nl)

这是示例输出：

41543664
------------ Process
producing 42262032
get_list_id() running in process 5856
with list_id 44544608
producing 46268496
get_list_id() running in process 5856
with list_id 44544608
producing 42262032
get_list_id() running in process 5856
with list_id 44544608
producing 44153904
get_list_id() running in process 5856
with list_id 44544608
producing 42262032
get_list_id() running in process 5856
with list_id 44544608
--------------- Pool
producing 41639248
get_list_id() running in process 5856
with list_id 44544608
producing 41777200
get_list_id() running in process 5856
with list_id 44544608
producing 41776816
get_list_id() running in process 5856
with list_id 44544608
producing 41777168
get_list_id() running in process 5856
with list_id 44544608
producing 41777136
get_list_id() running in process 5856
with list_id 44544608

明确？每次获得相同列表ID的原因 不是 因为每个工作进程 都具有 相同的self.nl成员，而是因为所有numeri方法
都在 单个进程（管理器进程）中运行。这就是列表ID始终相同的原因。

如果您在Linux-
y系统（支持的操作系统fork()）上运行，那么更好的主意是，Manager在启动任何工作进程之前，请忘记所有这些东西，并在模块级别创建复杂的对象。然后，工作人员将继承您的复杂对象（地址空间副本）。通常的写时复制fork()语义将使内存效率尽可能高。如果不需要将突变折叠到复杂对象的主程序副本中，这就足够了。如果确实需要将变异折回，那么您又需要进行大量的进程间通信，并且multiprocessing相应地吸引力也就降低了。

这里没有简单的答案。不要开枪;-)