python多线程等待所有线程完成

Question

这可能是在类似的背景下问的，但我在搜索了大约20分钟后找不到答案，所以我会问。

我已经编写了一个Python脚本（比如说：scriptA.py）和一个脚本（比如说scriptB.py）

在scriptB中，我想用不同的参数多次调用scriptA，每次运行大约需要一个小时，（这是一个巨大的脚本，做了很多事情……不用担心），我希望能够同时使用所有不同的参数运行scriptA，但我需要等到所有参数都完成后再继续；我的代码：

import subprocess

#setup
do_setup()

#run scriptA
subprocess.call(scriptA + argumentsA)
subprocess.call(scriptA + argumentsB)
subprocess.call(scriptA + argumentsC)

#finish
do_finish()

我想运行所有子流程。同时调用（）？

我试着像下面的例子一样使用线程：

from threading import Thread
import subprocess

def call_script(args)
    subprocess.call(args)

#run scriptA   
t1 = Thread(target=call_script, args=(scriptA + argumentsA))
t2 = Thread(target=call_script, args=(scriptA + argumentsB))
t3 = Thread(target=call_script, args=(scriptA + argumentsC))
t1.start()
t2.start()
t3.start()

但我认为这是不对的。

在转到我的do_finish（）之前，我怎么知道它们都已经运行完毕？




Answer 1

在Python3中，由于Python3.2提供了一种新的方法来达到相同的结果，我个人更喜欢传统的线程创建/启动/连接，包并发。期货：https://docs.python.org/3/library/concurrent.futures.html

使用ThreadPoolExecator的代码将是：

from concurrent.futures.thread import ThreadPoolExecutor
import time

def call_script(ordinal, arg):
    print('Thread', ordinal, 'argument:', arg)
    time.sleep(2)
    print('Thread', ordinal, 'Finished')

args = ['argumentsA', 'argumentsB', 'argumentsC']

with ThreadPoolExecutor(max_workers=2) as executor:
    ordinal = 1
    for arg in args:
        executor.submit(call_script, ordinal, arg)
        ordinal += 1
print('All tasks has been finished')

前面代码的输出类似于：

Thread 1 argument: argumentsA
Thread 2 argument: argumentsB
Thread 1 Finished
Thread 2 Finished
Thread 3 argument: argumentsC
Thread 3 Finished
All tasks has been finished

优点之一是可以控制吞吐量设置max concurrent worker。

Answer 2

您需要在脚本末尾使用Thread对象的连接方法。

t1 = Thread(target=call_script, args=(scriptA + argumentsA))
t2 = Thread(target=call_script, args=(scriptA + argumentsB))
t3 = Thread(target=call_script, args=(scriptA + argumentsC))

t1.start()
t2.start()
t3.start()

t1.join()
t2.join()
t3.join()

因此，主线程将等待直到t1，t2和t3完成执行。

Answer 3

将线程放入列表中，然后使用Join方法

 threads = []

 t = Thread(...)
 threads.append(t)

 ...repeat as often as necessary...

 # Start all threads
 for x in threads:
     x.start()

 # Wait for all of them to finish
 for x in threads:
     x.join()