与Python并行运行子进程

Question

我正在试图理解如何为多个子进程构建并行计算管道。正如我所看到的，每个子进程块等待前一个代码块运行，而我有一个管道，它对前一个运行没有依赖关系，并且可以并行处理。我想知道这是不是可能的，如果是这样的话，一个示例语法来展示如何做到这一点将是一个很大的帮助！提前道谢。

import sys
import os
import subprocess


subprocess.run("python pipelinecode1.py".split() +
               [run_date, this_wk, last_wk, prev_wk], shell=True)

subprocess.run("python pipelinecode2.py".split() +
               [run_date, this_wk, last_wk, prev_wk], shell=True)

subprocess.run("python pipelinecode3.py".split() +
               [run_date, this_wk, last_wk, prev_wk], shell=True)

Answer 1

MCVE原样显示对python-interpreter的依赖性为零，因此运行一组相互独立的任务（而不是流水线，在流水线中一步接一步的处理步骤“形成”了“流水线”）的最有效步骤是GNUParallel:

$ parallel python {} run_date this_wk last_wk prev_wk ::: pipelinecode1.py \
                                                          pipelinecode2.py  \
                                                          pipelinecode3.py

这样，您就不会浪费CPU/缓存资源，也不会逃避代码执行的阻塞和GIL-lock重新引入的重新[SERIAL]-isation而没有任何额外的开销成本。

有关所有可用的配置，请参阅man Parallel中的相应详细信息