在python中并行执行任务

Question

我正在使用python 2.7，我有一些看起来像这样的代码：

task1()
task2()
task3()
dependent1()

task4()
task5()
task6()
dependent2()

dependent3()

此处唯一的依赖项如下：dependent1需要等待任务1-3，Dependent2需要等待任务4-6，而dependent3需要等待依赖项1-2
…以下是可以的：首先运行全部6个任务并行，然后是前两个从属。

我希望尽可能多的任务并行运行，我已经在Google上搜索了一些模块，但是我希望避免使用外部库，并且不确定队列线程技术如何解决我的问题（也许有人可以推荐一个好的资源？）

Answer 1

内置的threading.Thread类提供了您所需要的一切：开始启动一个新线程，并加入以等待线程结束。

import threading

def task1():
    pass
def task2():
    pass
def task3():
    pass
def task4():
    pass
def task5():
    pass
def task6():
    pass

def dep1():
    t1 = threading.Thread(target=task1)
    t2 = threading.Thread(target=task2)
    t3 = threading.Thread(target=task3)

    t1.start()
    t2.start()
    t3.start()

    t1.join()
    t2.join()
    t3.join()

def  dep2():
    t4 = threading.Thread(target=task4)
    t5 = threading.Thread(target=task5)

    t4.start()
    t5.start()

    t4.join()
    t5.join()

def dep3():
    d1 = threading.Thread(target=dep1)
    d2 = threading.Thread(target=dep2)

    d1.start()
    d2.start()

    d1.join()
    d2.join()

d3 = threading.Thread(target=dep3)
d3.start()
d3.join()

另外，您可以使用Queue.join等待线程结束。