python中的多处理--在多个进程之间共享大型对象（例如pandas dataframe）

Question

我使用的是Python多处理，更准确地说

from multiprocessing import Pool
p = Pool(15)

args = [(df, config1), (df, config2), ...] #list of args - df is the same object in each tuple
res = p.map_async(func, args) #func is some arbitrary function
p.close()
p.join()

这种方法具有巨大的内存消耗；几乎消耗了我所有的RAM（此时它变得非常慢，因此使多重处理变得非常无用）。我认为问题在于df是一个巨大的对象（一个大型pandas数据文件），每个进程都要复制它。我尝试使用multiprocessing.value共享数据文件，而不复制

shared_df = multiprocessing.Value(pandas.DataFrame, df)
args = [(shared_df, config1), (shared_df, config2), ...] 

我是第一次使用多重处理，也许我的理解还不够好。multiprocessing.value实际上是在这种情况下使用的正确方法吗？我已经看到了其他的建议（例如队列），但现在有点困惑。共享内存有哪些选择，在这种情况下哪一个是最好的？

Answer 1

值的第一个参数是typecode_or_type。定义为：

typecode_or_type确定返回对象的类型：它要么是ctypes类型，要么是数组模块使用的一个字符类型。*args传递给类型的构造函数。

强调我的。因此，不能将pandas dataframe放在值中，它必须是ctypes类型。

from multiprocessing import Manager

mgr = Manager()
ns = mgr.Namespace()
ns.df = my_dataframe

# now just give your processes access to ns, i.e. most simply
# p = Process(target=worker, args=(ns, work_unit))

我没有/不打算讨论的一件事是事件和信号--如果您的流程需要等待其他人完成执行，您需要将其添加进来。下面是一个包含一些事件示例的页面，这些示例还详细介绍了如何使用管理器的命名空间。

（请注意，这些都没有涉及multiprocessing是否会带来切实的性能优势，这只是为您提供了探索这个问题的工具）