在Python中将多个参数传递给pool.map（）函数

Question

我需要某种方法来使用pool.map（）中的一个函数，该函数接受多个参数。根据我的理解，pool.map（）的目标函数只能有一个可迭代的参数，但是有没有办法我也可以传入其他参数呢？在这种情况下，我需要传递一些配置变量，例如Lock（）并将信息记录到目标函数中。

我试图做一些研究，我认为我也许可以使用部分函数来使其工作？但是，我不完全了解这些工作原理。任何帮助将不胜感激！这是我要执行的简单示例：

def target(items, lock):
    for item in items:
        # Do cool stuff
        if (... some condition here ...):
            lock.acquire()
            # Write to stdout or logfile, etc.
            lock.release()

def main():
    iterable = [1, 2, 3, 4, 5]
    pool = multiprocessing.Pool()
    pool.map(target(PASS PARAMS HERE), iterable)
    pool.close()
    pool.join()

Answer 1

您可以functools.partial为此使用（如您所怀疑的）：

from functools import partial

def target(lock, iterable_item):
    for item in iterable_item:
        # Do cool stuff
        if (... some condition here ...):
            lock.acquire()
            # Write to stdout or logfile, etc.
            lock.release()

def main():
    iterable = [1, 2, 3, 4, 5]
    pool = multiprocessing.Pool()
    l = multiprocessing.Lock()
    func = partial(target, l)
    pool.map(func, iterable)
    pool.close()
    pool.join()

例：

def f(a, b, c):
    print("{} {} {}".format(a, b, c))

def main():
    iterable = [1, 2, 3, 4, 5]
    pool = multiprocessing.Pool()
    a = "hi"
    b = "there"
    func = partial(f, a, b)
    pool.map(func, iterable)
    pool.close()
    pool.join()

if __name__ == "__main__":
    main()

输出：

hi there 1
hi there 2
hi there 3
hi there 4
hi there 5