制作平行完成屏障

Question

我有一个Makefile的目标与几个作业运行是并行的-j选项。

all: header
    mkdir -p $(STAGEDIR)
    @echo STAGEDIR = $(STAGEDIR)
    [ -z "$(dir_1_y)" ] || $(MAKE) -j$(HOST_NCPU) $(sort $(dir_1_y)) || exit $$?
    [ -z "$(dir_1_y)" ] || $(SET_STAGEDIR)
    [ -z "$(dir_2_y)" ] || $(MAKE) -j$(HOST_NCPU) $(sort $(dir_2_y)) || exit $$?
    [ -z "$(dir_2_y)" ] || $(SET_STAGEDIR)

完成这些工作可能需要不同的时间。我是否有办法确保在进入构建过程的下一阶段之前完成所有这些工作？

Answer 1

你可能想得太高了。Make希望您只提供真正的基于文件的依赖项，它将准确地执行要求它做的事情。

例如，您可能会认为您的构建是这样的：

• 构建库
• 编译应用对象
• 通过链接应用对象和库创建可执行文件

简单。事实是，这里的障碍是人为的。您没有理由不能在编译一个lib对象的同时编译一个app对象。或者在创建库时编译一些应用程序对象。

细粒度依赖关系是您的朋友。

${objects}: %.o: %.c ; Recipe for creating $@ from $<
lib1.a: l1.o l2.o ; Recipe for creating lib out of objects
lib2.a: l3.o l4.o ; Recipe for creating lib out of objects
executable: lib1.a lib2.a o5.o ; Recipe for linking

在这里，我们将实际文件作为依赖项和目标。最大并行性、错误检查和剔除工作。这是一个NoDy示例，但是考虑一个更大的系统，其中构建包括运行测试。当您进行更改时，您只想重新运行一小部分测试。您还希望在编译其他代码时运行一些测试。

是的，您必须正确处理依赖关系，但这就是make的全部要点。如果您不能做到这一点，那么可以使用批处理文件，每次都从头开始构建。

Answer 2

使用您当前的食谱，所有的工作都在下一行开始之前完成。是否使用-j完全无关紧要。

另外，我不知道您是否意识到，您拥有的不是生成文件。它实际上是一个伪装成makefile的shell脚本，使用Make没有任何好处。没有理由保持这种状态。

只需忘记“makefile”并使用shell脚本：

mkdir -p $STAGEDIR
echo STAGEDIR = $(STAGEDIR)
[ -z "$(dir_1_y)" ] || make -j$HOST_NCPU $(sort $dir_1_y) || exit $?
[ -z "$(dir_1_y)" ] || $(SET_STAGEDIR) 
[ -z "$(dir_2_y)" ] || $(MAKE) -j$HOST_NCPU $(sort $dir_2_y) || exit $?
[ -z "$(dir_2_y)" ] || $(SET_STAGEDIR)

当你这样做的时候，一切都会变得更容易管理，包括你最初的问题中的事情。Make提供了特定的优势，但与shell脚本相比难度增加了。如果你根本不利用这些优势，那么应对困难就毫无意义。