用于多处理的共享内存中的大型numpy阵列：这种方法有问题吗？

Question

多处理是一个很好的工具，但是使用大内存块并不简单。您可以在每个进程中加载块并将结果转储到磁盘上，但有时您需要将结果存储在内存中。最重要的是，使用奇特的数字功能。

我读了很多书/在谷歌上搜索了很多，并找到了一些答案：

在共享内存中使用Numpy数组进行多重处理

在多处理进程之间共享大型只读Numpy数组

Python多重处理全局Numpy数组

如何在python子进程之间传递大型numpy数组而不保存到磁盘？

等等等等等等。

它们都有缺点：不是很主流的库（sharedmem）；全局存储变量；代码、管道等不太容易阅读。

我的目标是在我的员工中无缝地使用numpy，而不必担心转换和其他问题。

经过多次试验，我想出了这个。它在我的ubuntu 16、python 3.6、16GB、8核机器上运行。与以前的方法相比，我做了很多“捷径”。没有全局共享状态，没有需要在worker内部转换为numpy的纯内存指针，没有作为进程参数传递的大型numpy数组，等等。

上面是Pastebin链接，但我将在这里放几个片段。

一些进口：

import numpy as np
import multiprocessing as mp
import multiprocessing.sharedctypes
import ctypes

分配一些共享的mem，并将其包装成Numpy数组：

def create_np_shared_array(shape, dtype, ctype)
     . . . . 
    shared_mem_chunck = mp.sharedctypes.RawArray(ctype, size)
    numpy_array_view = np.frombuffer(shared_mem_chunck, dtype).reshape(shape)
    return numpy_array_view

创建共享数组并在其中放入一些内容

src = np.random.rand(*SHAPE).astype(np.float32)
src_shared = create_np_shared_array(SHAPE,np.float32,ctypes.c_float)
dst_shared = create_np_shared_array(SHAPE,np.float32,ctypes.c_float)
src_shared[:] = src[:]  # Some numpy ops accept an 'out' array where to store the results

生成流程：

p = mp.Process(target=lengthly_operation,args=(src_shared, dst_shared, k, k + STEP))
p.start()
p.join()

以下是一些结果（请参见pastebin代码以获取完整参考）：

Serial version: allocate mem 2.3741257190704346 exec: 17.092209577560425 total: 19.46633529663086 Succes: True
Parallel with trivial np: allocate mem 2.4535582065582275 spawn  process: 0.00015354156494140625 exec: 3.4581971168518066 total: 5.911908864974976 Succes: False
Parallel with shared mem np: allocate mem 4.535916328430176 (pure alloc:4.014216661453247 copy: 0.5216996669769287) spawn process: 0.00015664100646972656 exec: 3.6783478260040283 total: 8.214420795440674 Succes: True

我还做了一个cProfile（为什么在分配共享mem时多2秒钟？）并意识到有一些对_io的tempfile.py，{方法'写'的调用。BufferedWriter'对象}。

问题

• 我做错什么了吗
• （大型）阵列是否来回酸洗，而我没有获得任何速度？请注意，第二次运行（使用常规np数组无法通过正确性测试）
• 是否有办法进一步改进时间安排、代码清晰度等？（wrt到多处理范式）

笔记

• 我无法处理进程池，因为mem必须在fork处继承，而不是作为参数发送

Answer 1

共享阵列的分配很慢，因为它显然是先写入磁盘的，所以可以通过mmap共享。有关参考信息，请参阅heap。py和sharedTypes。皮耶。这就是为什么tempfile。py显示在探查器中。我认为这种方法的优点是在崩溃时会清理共享内存，而POSIX共享内存无法保证这一点。

多亏了fork，您的代码不会发生酸洗，正如您所说，内存是继承的。第二次运行不起作用的原因是因为子进程不允许在父进程的内存中写入。相反，私有页面是动态分配的，只有在子进程结束时才会被忽略。

我只有一个建议：您不必自己指定ctype，可以通过np从numpy数据类型中找出正确的类型。ctypeslib_类型代码。或者只需对所有内容使用c_byte，并使用dtype itemsize计算缓冲区的大小，它将由numpy进行强制转换。