多处理中的共享内存

Question

我有三个大名单。前一个包含位数组（模块位数组0.8.0），另外两个包含整数数组。

l1=[bitarray 1, bitarray 2, ... ,bitarray n]
l2=[array 1, array 2, ... , array n]
l3=[array 1, array 2, ... , array n]

这些数据结构占用相当多的RAM（总计约16GB）。

如果我使用以下方法启动12个子流程：

multiprocessing.Process(target=someFunction, args=(l1,l2,l3))

这是否意味着将为每个子流程复制l1，l2和l3，或者子流程将共享这些列表？或者更直接地说，我将使用16GB还是192GB的RAM？

someFunction将从这些列表中读取一些值，然后根据读取的值执行一些计算。结果将返回到父进程。列表l1，l2和l3不会被someFunction修改。

因此，我假设子流程不需要并且不会复制这些庞大的列表，而只会与父级共享它们。意味着由于linux下的写时复制方法，该程序将占用16GB的RAM（无论我启动了多少个子进程）？我是对的还是我遗漏了一些会导致列表被复制的东西？

编辑
：在阅读了有关该主题的更多内容后，我仍然感到困惑。一方面，Linux使用写时复制，这意味着没有数据被复制。另一方面，访问对象将更改其引用计数（我仍然不确定为什么以及这意味着什么）。即使这样，会复制整个对象吗？

例如，如果我定义someFunction如下：

def someFunction(list1, list2, list3):
    i=random.randint(0,99999)
    print list1[i], list2[i], list3[i]

使用此功能是否意味着将为每个子流程完全复制l1，l2和l3？

有办法检查吗？

EDIT2 在多了一点并监视子进程运行时系统的总内存使用情况之后，似乎确实为每个子进程复制了整个对象。这似乎是因为引用计数。

在我的程序中，实际上不需要l1，l2和l3的引用计数。这是因为l1，l2和l3将保留在内存中（不变），直到父进程退出。在此之前，无需释放这些列表使用的内存。实际上，我可以肯定的是，在程序退出之前，引用计数将保持高于0（对于这些列表和这些列表中的每个对象）。

所以现在的问题变成了，我如何确保对象不会复制到每个子流程？我是否可以禁用这些列表以及这些列表中每个对象的引用计数？

EDIT3
只是一个附加说明。子进程并不需要修改l1，l2并l3或在这些列表中的任何对象。子流程仅需要能够引用其中一些对象，而无需为每个子流程复制内存。

Answer 1

一般来说，共有两种数据共享方式：

• 多线程
• 共享内存

Python的多线程不适用于受CPU约束的任务（由于GIL），因此在这种情况下，通常的解决方案是继续multiprocessing。但是，使用此解决方案，您需要使用multiprocessing.Value和显式共享数据multiprocessing.Array。

注意，由于所有同步问题，通常在进程之间共享数据可能不是最佳选择。通常，涉及参与者交换消息的方法是更好的选择。另请参阅Python文档：

如上所述，在进行并行编程时，通常最好尽可能避免使用共享状态。使用多个进程时尤其如此。

但是，如果确实需要使用某些共享数据，则多处理提供了两种方法。

在您的情况下，您需要包装l1，l2并l3以某种可以理解的方式multiprocessing（例如通过使用multiprocessing.Array）进行包装，然后将它们作为参数传递。
还要注意，正如您所说的那样，您不需要写访问权限，那么您应该lock=False在创建对象时通过，否则所有访问仍将被序列化。