make：并行运行多个任务并等待完成

Question

我的makefile中的一个目标是一个非常耗时的CPU任务。但是我可以分割工作负载并并行运行任务几次，以加快整个过程。

我的问题是make不会等待所有过程完成。

考虑一下这个简单的脚本，名为“代码> MyTask.SH <代码>：

#!/bin/bash

echo "Sleeping $1 seconds"
sleep $1
echo "$1 are over!"

现在，让我们从bash脚本调用它，并使用wait等待所有任务完成：

#!/bin/bash

echo "START"
./myTask.sh 5 &
./myTask.sh 15 &
./myTask.sh 10 &

wait  # Wait for all tasks to complete

echo "DONE"

产出如预期：

START
Sleeping 15 seconds
Sleeping 5 seconds
Sleeping 10 seconds
5 are over!
10 are over!
15 are over!
DONE

但是在Makefile中尝试相同的方法时：

test:
    echo "START"
    ./myTask.sh 5 &
    ./myTask.sh 15 &
    ./myTask.sh 10 &
    wait
    echo "DONE"

它不起作用：

START
Sleeping 5 seconds
Sleeping 15 seconds
Sleeping 10 seconds
DONE
sweber@pc:~/testwait $5 are over!
10 are over!
15 are over!

当然，我可以创建多个目标，这些目标可以通过make并行“构建”，或者让make运行运行任务的bash脚本。但是有没有办法做得更像我已经尝试过的？

Answer 1

配方中的每个逻辑行都在其自己的shell中调用。因此，您的makefile基本上运行以下操作：

test:
        /bin/sh -c 'echo "START"'
        /bin/sh -c './myTask.sh 5 &'
        /bin/sh -c './myTask.sh 15 &'
        /bin/sh -c './myTask.sh 10 &'
        /bin/sh -c 'wait'
        /bin/sh -c 'echo "DONE"'

您应该使用分号和反斜杠/换行符将物理行组合成一个逻辑行，使其在单个shell中运行：

test:
        echo "START"; \
        ./myTask.sh 5 & \
        ./myTask.sh 15 & \
        ./myTask.sh 10 & \
        wait; \
        echo "DONE"

Answer 2

为什么不使用make中已经内置的机制呢？大概是这样的：

task%:
        sh task.sh $*

test: task5 task15 task10
        echo "DONE"

您将能够在make命令行上调整并行级别，而不是将其硬编码到makefile中（例如，如果有2个内核可用，则使用“make-j2 test”，如果有32个内核，则使用“make-j2 test”）