大数据多处理

Question

我multiprocessing.Pool()用来并行化一些繁重的计算。

目标函数返回大量数据（庞大的列表）。我的RAM用完了。

如果不使用multiprocessing，我只需yield将生成的元素依次计算出来，就将目标函数更改为生成器。

我了解多处理不支持生成器-
它等待整个输出并立即返回，对吗？没有屈服。有没有一种方法可以使Pool工作人员在数据可用时立即产生数据，而无需在RAM中构造整个结果数组？

简单的例子：

def target_fnc(arg):
   result = []
   for i in xrange(1000000):
       result.append('dvsdbdfbngd') # <== would like to just use yield!
   return result

def process_args(some_args):
    pool = Pool(16)
    for result in pool.imap_unordered(target_fnc, some_args):
        for element in result:
            yield element

这是Python 2.7。

Answer 1

这听起来像是队列的理想用例：http :
//docs.python.org/2/library/multiprocessing.html#exchanging-objects-between-
processes

只需将结果从汇集的工作人员输入队列中，然后将其摄入主服务器即可。

请注意，除非排干队列的速度几乎与工人填充队列的速度一样快，否则您仍然可能会遇到内存压力问题。您可以限制队列大小（队列中可容纳的最大对象数），在这种情况下，池化工作器将阻塞queue.put语句，直到队列中有可用空间为止。这将限制内存使用量。
但是， 如果执行此操作，则可能是时候重新考虑是否需要全部池化和/或使用更少的工作程序是否有意义。