是否有一个简单的基于进程的python并行映射？

Question

我正在寻找一个简单的基于进程的python并行映射，即一个函数

parmap(function,[data])

它将在不同进程上的[data]的每个元素上运行函数（嗯，在不同的内核上，但是AFAIK，在python中的不同内核上运行的唯一方法是启动多个解释器），并返回结果列表。

是否存在这样的东西？我想要一些 简单的 东西，所以一个简单的模块会很好。当然，如果不存在这样的东西，我会为一个大图书馆而定：-/

Answer 1

我似乎您需要的是multiprocessing.Pool（）中的map方法：

map（func，iterable [，chunksize]）

A parallel equivalent of the map() built-in function (it supports only
one iterable argument though). It blocks till the result is ready.

This method chops the iterable into a number of chunks which it submits

to the
process pool as separate tasks. The (approximate) size of these chunks
can be
specified by setting chunksize to a positive integ

例如，如果要映射此功能：

def f(x):
    return x**2

到range（10），可以使用内置的map（）函数：

map(f, range(10))

或使用multiprocessing.Pool（）对象的方法map（）：

import multiprocessing
pool = multiprocessing.Pool()
print pool.map(f, range(10))