在所有子目录上并行调用 gnumake (-j)，然后才最后运行链接器规则（即顺序重要）

Posted

技术标签:

【中文标题】在所有子目录上并行调用 gnumake (-j)，然后才最后运行链接器规则（即顺序重要）【英文标题】：Call gnumake on all subdirs in parallel (-j) and only then run the linker-rule last (i.e. order important) 【发布时间】：2018-12-01 22:28:23 【问题描述】：

我有一个 c++ makefile 项目。它非常适合非平行建筑。它对并行构建工作 99%... 我唯一的问题是我无法让我的最终可执行链接行最后运行（它必须是最后发生的事情）。

我有一些限制：我不想在我的链接线上有任何 PHONY 依赖项，因为这会导致它每次都重新链接。 IE。一旦我的目标被构建，当我重新构建它时不应该重新链接。

这是（稍微做作的）最小示例。请不要试图在其中挖洞，它真的在这里只是为了显示问题，它不是真实的，但我显示的问题是。您应该能够运行它并看到与我相同的问题。

# Set the default goal to build.
.DEFAULT_GOAL = build

#pretend subdirs (these don't really exist but it does not matter so long as they always try to be built)
MAKE_SUB_DIRS = 1 2 3

#pretend shared objects that are created by the pretend makefile sub directories (above)
OUTPUTS = out1.so out2.so out3.so

# Top level build goal - depends on all of the subdir makes and the target.out
.PHONY: build
build: $(MAKE_SUB_DIRS) target.out
    @echo build finished

# Takes 1 second to build each of these pretend sub make directories. PHONY so always runs
.PHONY: $(MAKE_SUB_DIRS)
$(MAKE_SUB_DIRS):
    @if [ ! -f out$@.so ] ; then echo making $@... ; sleep 1 ; echo a > out$@.so ; fi

# The main target, pretending that it needs out1,2 and 3 to link
# Should only run when target.out does not exist
# No PHONY deps allowed here
target.out:
    @echo linking $@...
    @ls $(OUTPUTS) > /dev/null
    @cat $(OUTPUTS) > target.out

# Clean for convinience
clean:
    @rm -rf *.so target.out

现在，我并不真正关心 make 的工作，我想要的是 make -j 的工作。这是我试图运行它：

admin@osboxes:~/sandbox$ make clean 
admin@osboxes:~/sandbox$ 
admin@osboxes:~/sandbox$ make -j     - 1st attempt
making 1...
making 2...
linking target.out...
making 3...
ls: cannot access 'out1.so': No such file or directory
ls: cannot access 'out2.so': No such file or directory
ls: cannot access 'out3.so': No such file or directory
makefile:24: recipe for target 'target.out' failed
make: *** [target.out] Error 2
make: *** Waiting for unfinished jobs....
admin@osboxes:~/sandbox$ 
admin@osboxes:~/sandbox$ make -j     - 2nd attempt
linking target.out...
build finished
admin@osboxes:~/sandbox$ 
admin@osboxes:~/sandbox$ make -j     - 3rd attempt
build finished
admin@osboxes:~/sandbox$

所以我强调了我运行它的三个尝试。

尝试 1：您可以看到构建的所有 4 个依赖项同时启动（大约）。由于每个 makeing x... 需要 1 秒，而 linking 几乎是即时的，我们看到了我的错误。但是，所有三个“库”均已正确构建。 尝试 2：仅在库不存在时才创建库（这是 bash 代码 - 假装执行 makefile 可能执行的操作）。在这种情况下，它们已经创建。所以现在链接通过了，因为它只需要库存在。 尝试 3：什么都没有发生，因为没有什么需要 :)

所以你可以看到所有的步骤，只需订购它们。我希望 make sub dirs 1, 2, 3 以任何顺序并行构建，然后只有在它们全部完成后我希望 target.out 运行（即链接器）。

我不想这样称呼它：$(MAKE) target.out，因为在我真正的 makefile 中我有很多变量都设置...

我尝试查看（来自其他答案）.NOT_PARALLEL 并使用 dep order 运算符|（管道），并且我尝试订购大量规则以使 target.out 成为最后一个....但是-j 选项只是通过所有这些并破坏了我的订购:( ...必须有一些简单的方法来做到这一点？

【问题讨论】：

【参考方案1】：

编辑：添加将变量传递给子制作的示例。通过将$(SUBDIRS) 添加到build 的先决条件而不是在其配方中进行了一些优化。

我不确定我是否完全了解您的组织，但处理子目录的一种解决方案如下。我假设，有点像你的例子，构建子目录foo 在顶层目录中产生foo.o。我还假设您的*** Makefile 定义了在构建子目录时要传递给子目录的变量（VAR1、VAR2...）。

VAR1    := some-value
VAR2    := some-other-value
...
SUBDIRS := foo bar baz
SUBOBJS := $(patsubst %,%.o,$(SUBDIRS))

.PHONY: build clean $(SUBDIRS)

build: $(SUBDIRS)
    $(MAKE) top

$(SUBDIRS):
    $(MAKE) -C $@ VAR1=$(VAR1) VAR2=$(VAR2) ...

top: top.o $(SUBOBJS)
    $(CXX) $(LDFLAGS) -o $@ $^ $(LDLIBS)

top.o: top.cc
    $(CXX) $(CXXFLAGS) -c $< -o $@

clean:
    rm -f top top.o $(SUBOBJS)
    for d in $(SUBDIRS); do $(MAKE) -C $$d clean; done

这是并行安全的，并保证只有在所有子构建完成后才会进行链接。请注意，您也可以export 将要传递给子制作的变量，而不是在命令行中传递它们：

VAR1    := some-value
VAR2    := some-other-value
...
export VAR1 VAR2 ...

【讨论】：

所以对我来说，我已经将变量传递到我的 makefile 中 - 所以我想我需要将这些变量传递到 $(MAKE) top 和 $(MAKE) $(SUBDIRS) 命令中？ - 我知道我的例子有点垃圾，很难模拟我更大的makefile系统的问题。谢谢：） 如何定义这些变量？命令行？环境变量？在 Makefile 本身中？ 它们是 makefile 变量 - 我刚刚发现 .EXPORT_ALL_VARIABLES: 规则似乎在这里有所帮助 是的，您可以使用.EXPORT_ALL_VARIABLES。或者export 只是你想传递给子制作的变量。或者在 sub-make 调用的命令行上传递它们（如我编辑的答案所示）。 非常感谢...我真的不喜欢 var 传递的命令行传递版本，因为（这是几周前我的麻烦开始的地方）它们覆盖了任何尝试在子制作文件中更改它们（即VAR += another 将无效）。所以我是出口的忠实粉丝:)【参考方案2】：

通常您只需将 lib 文件添加为 target.out 的先决条件：

target.out: $(OUTPUTS)
        @echo linking $@...

问题是，如果任何输出 lib 文件较新，这将重新链接 target.out。通常这是你想要的（如果库已经改变，你需要重新链接目标），但你明确说你没有。

GNU make 提供了一个名为“order only 先决条件”的扩展，您可以将它放在| 之后：

target.out: | $(OUTPUTS)
        @echo linking $@...

现在，target.out 只有在它不存在时才会重新链接，但在这种情况下，它仍然会等到 $(OUTPUTS) 构建完成后

如果你的 $(OUTPUT) 文件是由子目录构建的，你可能会发现你需要这样的规则：

.PHONY: $(OUTPUT)
$(OUTPUT):
        $(MAKE) -C $$(dirname $@) $@

调用递归make，除非你有其他规则会在子目录中调用make

【讨论】：

谢谢。我读到通过只在子目录上调用 make 而不是为每个特定库添加目标来订购你的 makefile 系统/heirachy 要简单得多 - 这是由他们自己的 makefile 处理的。在这里我必须定义规则如何构建$(OUTPUTS)? - 这意味着我需要将 $(OUTPUTS) 列表链接到它们的子文件夹，以便我可以调用它们？此外，| 在并行构建中也没有影响.... @code_fodder：如果您需要在子目录中递归调用 Make，您应该在问题中这样说。 @code_fodder：如果你能避免的话，通常你在子目录中DO NOT want to use recursive make。如果您有支持它的 make（例如 GNU make），最好使用 include。 @Beta 我不需要递归调用 make。但是每个子目录本身都包含一个单独的项目 - 我不知道（或想知道）他们的具体情况。它只需要构建并给我我需要的输出（例如库） - 它是如何做到的，这是“它的”问题......如果你有更好的解决方案，请随时提出建议：） @ChrisDodd。所以我或多或少地让这一切工作，但后来我发现这些库要么总是链接，要么从不链接。然后我回到你的答案，然后它点击了你所得到的......我认为你的建议类似于 c++ auto dep 文件的布局方式，它们在头文件上创建依赖关系，并使用规则来“构建”这些空的标头（因为如果标头丢失，我们无法生成任何标头）。所以你的答案加上这行：$(OUTPUTS):（一个空规则）在这里对我有用..你同意这种方法吗？【参考方案3】：

好的，所以我找到了“一个”解决方案......但它有点违背我想要的，因此很丑（但不是那个那个丑）：

唯一我可以理解以确保并行构建顺序的方法（再次从我阅读的其他答案中）是这样的：

rule: un ordered deps
rule:
    @echo this will happen last

这里将按任意顺序制作（或制作？）三个 deps，然后最后运行 echo 行。

但是，我想要做的事情是一个规则，特别是这样，它会检查是否有任何更改或文件是否不存在 - 然后，只有这样，才会运行该规则。

我知道在另一个规则的范围内运行规则的唯一方法是递归调用 make 。但是，我只是在同一个 makefile 上递归调用 make 就会遇到以下问题：

    默认不传入变量 许多相同的规则将被重新定义（不允许或不想要）

所以我想出了这个：

制作文件：

# Set the default goal to build.
.DEFAULT_GOAL = build

#pretend subdirs (these don't really exist but it does not matter so long as they always try to be built)
MAKE_SUB_DIRS = 1 2 3

#pretend shared objects that are created by the pretend makefile sub directories (above)
OUTPUTS = out1.so out2.so out3.so

# Top level build goal - depends on all of the subdir makes and the target.out
export OUTPUTS
.PHONY: build
build: $(MAKE_SUB_DIRS)
    @$(MAKE) -f link.mk target.out --no-print-directory
    @echo build finished

# Takes 1 second to build each of these pretend sub make directories. PHONY so always runs
.PHONY: $(MAKE_SUB_DIRS)
$(MAKE_SUB_DIRS):
    @if [ ! -f out$@.so ] ; then echo making $@... ; sleep 1 ; echo a > out$@.so ; fi

# Clean for convinience
clean:
    @rm -rf *.so target.out

link.mk：

# The main target, pretending that it needs out1,2 and 3 to link
# Should only run when target.out does not exist
# No PHONY deps allowed here
target.out:
    @echo linking $@...
    @ls $(OUTPUTS) > /dev/null
    @cat $(OUTPUTS) > target.out

所以在这里我将链接器规则放入一个名为 link.mk 的单独 makefile 中，这避免了对同一文件的递归 make 调用（因此使用重新定义的规则）。但是我必须导出我需要通过的所有变量......这很丑陋，并且如果这些变量发生变化会增加一些维护开销。

...但是...它有效:)

我不会很快标记这个，因为我希望一些天才会指出一个更整洁/更好的方法来做到这一点......

【讨论】：

以上是关于在所有子目录上并行调用 gnumake (-j)，然后才最后运行链接器规则（即顺序重要）的主要内容，如果未能解决你的问题，请参考以下文章

C++ 并行编程函数调用

pandarallel 是一个简单而有效的工具，可以在所有可用的 CPUs 上并行执行 pandas 操作

pandarallel 是一个简单而有效的工具，可以在所有可用的 CPUs 上并行执行 pandas 操作

如何在 Perl 测试套件中并行运行一些但不是所有测试？

在同一个套接字上对发送/接收的并行调用是不是有效？

如何在 Travis CI 中为 C++ 项目并行运行多个构建，每个构建都有单独的脚本？