Python-multiprocessing.Pool：何时使用apply，apply_async或map？

Question

我还没有看到关于Pool.apply，Pool.apply_async和Pool.map用例的清晰示例。我主要使用Pool.map; 别人的优势是什么？

Answer 1

在Python的早期，要使用任意参数调用函数，可以使用apply：

apply(f,args,kwargs)

apply在Python2.7中仍然存在，尽管在Python3中却不存在，并且通常不再使用。如今，

f(*args,**kwargs)

是首选。这些multiprocessing.Pool模块尝试提供类似的接口。

Pool.apply就像Python一样apply，除了函数调用是在单独的进程中执行的。Pool.apply直到功能完成为止。

Pool.apply_async也类似于Python的内置函数apply，区别在于调用立即返回而不是等待结果。AsyncResult返回一个对象。你调用其get()方法以检索函数调用的结果。该get()方法将阻塞直到功能完成。因此，pool.apply(func, args, kwargs)等效于pool.apply_async(func, args, kwargs).get()。

与相比Pool.apply，该Pool.apply_async方法还具有一个回调（如果提供），则在函数完成时调用该回调。可以使用它来代替get()。

例如：

import multiprocessing as mp
import time

def foo_pool(x):
    time.sleep(2)
    return x*x

result_list = []
def log_result(result):
    # This is called whenever foo_pool(i) returns a result.
    # result_list is modified only by the main process, not the pool workers.
    result_list.append(result)

def apply_async_with_callback():
    pool = mp.Pool()
    for i in range(10):
        pool.apply_async(foo_pool, args = (i, ), callback = log_result)
    pool.close()
    pool.join()
    print(result_list)

if __name__ == '__main__':
    apply_async_with_callback()

可能会产生如下结果

[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]

请注意，与不同pool.map，结果的顺序可能与pool.apply_async调用的顺序不同。

因此，如果你需要在一个单独的进程中运行一个函数，但是希望当前进程在该函数返回之前一直阻塞，请使用Pool.apply。像一样Pool.apply，Pool.map阻塞直到返回完整的结果。

如果你希望工作进程池异步执行许多功能调用，请使用Pool.apply_async。结果的顺序不能保证与调用的顺序相同Pool.apply_async。

还要注意，你可以使用调用许多不同的函数Pool.apply_async（并非所有调用都需要使用同一函数）。

相反，Pool.map将相同的函数应用于许多参数。但是，与不同Pool.apply_async，返回结果的顺序与参数的顺序相对应。