多进程共享进程之间的不可序列化对象

Question

通过回答此问题，可以回答所有其他三个问题。希望我能说清楚：

在通过多处理创建的某些过程中创建对象后：

1. 如何将对该对象的 引用 传递给其他进程？
2. （不是很重要）我如何确保持有参考书时此过程不会消失？

示例1（已解决）

from concurrent.futures import *

def f(v):
    return lambda: v * v

if __name__ == '__main__':
    with ThreadPoolExecutor(1) as e: # works with ThreadPoolExecutor
        l = list(e.map(f, [1,2,3,4]))
    print([g() for g in l]) # [1, 4, 9, 16]

例子2

假设f返回一个具有可变状态的对象。这个相同的对象应该可以从其他进程访问。

例子3

我有一个带有打开文件和锁的html" target="_blank">对象-如何授予对其他进程的访问权限？

提醒

我不希望此特定错误不会出现。或针对此特定用例的解决方案。解决方案应该足够通用，以仅在进程之间共享不可移动的对象。可以在任何过程中创建对象。使所有对象都可移动并保留身份的解决方案也可能很好。

任何提示都是值得欢迎的，任何指向如何实现解决方案的部分解决方案或代码片段都是值得的。因此，我们可以一起创建解决方案。

这是 尝试 解决此问题但不进行多重处理的 尝试
：https
:
//github.com/niccokunzmann/pynet/blob/master/documentation/done/tools.rst

问题

您希望其他过程如何处理引用？

可以将引用传递给使用multiprocessing创建的任何其他进程（重复3）。一个可以访问属性的调用引用。访问的服装可能是也可能不是代理。

仅使用代理有什么问题？

也许没有问题，只是挑战。我的印象是，代理具有管理器，并且管理器具有其自己的进程，因此必须对无法序列化的对象进行序列化和转移（使用StacklessPython
/ fork部分解决）。也存在特殊对象的代理-很难但并非不可能为所有对象构建代理（可解决）。

解？ -代理人+经理？

Eric Urban显示序列化不是问题。真正的挑战在于Example2＆3：状态的同步。我对解决方案的想法是为经理创建一个特殊的代理类。该代理类

1. 对非序列化对象采用构造方法
2. 接受一个可序列化的对象，并将其转移到管理器进程。
3. （问题）根据1.必须在管理器进程中创建不可序列化的对象。

Answer 1

在大多数情况下，将现有对象的引用传递给另一个进程并不是很理想。相反，您可以创建要在流程之间共享的类：

class MySharedClass:
    # stuff...

然后，您将像这样创建一个代理管理器：

import multiprocessing.managers as m
class MyManager(m.BaseManager):
    pass # Pass is really enough. Nothing needs to be done here.

然后，您在该Manager上注册课程，如下所示：

MyManager.register("MySharedClass", MySharedClass)

然后，实例化了经理并启动了经理之后，manager.start()您就可以使用创建类的共享实例manager.MySharedClass。这应该适合所有需求。返回的代理的工作原理与原始对象完全相同，除了文档中描述的某些例外。