使python for循环并行运行

Question

我有一个python for循环，它执行一个bash脚本，如下所示（我将其简化为只包含需要显示的内容），我需要它在for循环中同时运行所有这些bash脚本，但要等到它们全部完成后才能继续串联。bash脚本是我唯一希望并行运行的部分。它是在同一for循环的下游做一些需要串联完成的事情。这可能吗？

以下是系列作品。没有脚本的并行执行，因为。如果我删除. etc（），它几乎立即出错，下游的任何东西都不再像预期的那样运行。

for i in range(0, len(10)):

    path = 'folder_'+'%02d'%i
    os.mkdir(path)
    os.chdir(path)

    command = 'bash dosomething'
    subprocess.Popen(command, shell=True).wait()

    THINGS IN SERIES

    os.chdir('../')

Answer 1

import Parallel, delayed
import multiprocessing

counts = range(10) 
def sub_command(i):
    path = 'folder_'+'%02d'%i
    os.mkdir(path)
    os.chdir(path)

    command = 'bash dosomething'    
    subprocess.Popen(command, shell=True).wait()
    os.chdir("../")

cpu_cores = multiprocessing.cpu_count()

Parallel(n_jobs=cpu_cores)(delayed(sub_command)(i) for i in counts )

Answer 2

启动所有子流程后执行等待。为子目录设置当前工作目录，而不是更改父目录中的当前工作目录。

processes = []
for i in range(0, len(10)):
    path = 'folder_'+'%02d'%i
    os.mkdir(path)
    command = ('bash dosomething')
    processes.append(subprocess.Popen(command, shell=True,
        cwd=path))

# you can do other things here

for p in processes:
    p.wait()