对编译时生成的文件的依赖性

Posted 2021-04-04

我正在尝试设置SCons以遵循对构建过程中自动生成的文件的依赖性，并可以在多线程构建中正常工作。

我正在建立的项目是一个CIM提供程序，由定义数据结构的MOF文件，来自MOF文件的自动生成的源文件和头文件以及引用自动生成的文件的手写源文件和头文件组成。为了使构建成功，在编译任何手写文件之前，自动生成步骤必须运行完成，否则，手写文件所依赖的头将不存在，并且将失败。自动生成步骤创建的.cpp文件也必须添加到源列表中，并在最终版本中进行编译。

运行单线程构建时，一切正常，因为自动生成步骤始终在编译步骤之前完成，因此生成的标头就位。但是，当运行多线程构建时，它将尝试在自动生成步骤完成之前编译手写文件，并且构建将失败。我指定了显式依赖项，但SCons没有遵循它。

这里是我的SConscript文件的相关部分，我从cim_targets []中删除了单个文件名，因为该列表很长，但是总而言之，cim_targets []是自动生成步骤的目标输出文件列表，provider_sources []为autogen步骤完成后返回的源列表，sources []是手写源文件的列表，GenProvider（）是在外部定义的执行自动生成步骤的Command构建器，而SharedLibrary（）是在外部定义的构建器，其执行其功能听起来像，使用带有一些扩展名的SCons库构建器]

# Define directory paths for the CIM schema
cim_dir = 'cim-schema-2.26.0'

var_smis_dir   = Dir('.').abspath # src/lib/XXX in variant

cim_sources = [
    Glob(os.path.join(cim_dir, '*qualifiers*.mof')),
    Glob(os.path.join(cim_dir, 'Core')     + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'Device')   + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'Event')    + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'XXXXXX')   + '/XXX_*.mof'),
    Glob(os.path.join(cim_dir, 'Interop')  + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'Physical') + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'System')   + '/CIM_*.mof'),
]

cim_sources_flat = []
for cim in cim_sources:
    for src in cim:
        cim_sources_flat.append(src)

cim_targets = [
    ......
]

sources = [
    'driver.cpp',
    'device.cpp',
    'cim_static_data.cpp',
    'module.cpp',
    'diag_log.cpp',
    'profile_element.cpp',
]

staticlibs = [
    ......
    ]


dynamiclibs = [
    .....
    ]

var_cim_sources = this_env.Install(var_smis_dir, cim_sources_flat)

cim_mof = 'cimv226.mof'

cim_linux_mof = os.path.join(cim_dir, 'cimv226-gen-flat.mof')

var_cim_sources.extend(this_env.Command(cim_mof, cim_linux_mof, Copy('$TARGET', '$SOURCE')))

# first generate the provider infrastructure using cimple
provider_sources = this_env.GenProvider(cim_targets, var_cim_sources, name, var_smis_dir)

# make sure these files don't build until AFTER the provider files have been created
this_env.Depends(sources, provider_sources)

sources_full = provider_sources + sources

# now we can compile the provider
this_env.SharedLibrary(libname, source=sources_full, staticlibs=staticlibs, dynamiclibs=dynamiclibs, installpath=install_dir)

我尝试设置显式依赖项，以便在创建所有生成的源文件之前都无法编译手写源（this_env.Depends（sources，provider_sources）），但是在运行多线程时，SCons会忽略此依赖项并尝试编译手写文件在自动生成步骤完成之前。

答案

您是否尝试过使用此处定义的SideEffect（）函数：

SCons Wiki: SideEffect

不确定是否完全根据您的需要创建，但可能会有所帮助。

另一答案

我能够通过将生成的文件设为Command作为目标来解决此问题。例如，假设您有一个文件foo.c：

#include <stdio.h>
#include "foo.h"
int main() {}

并且说foo.h需要先生成，然后才能构建foo.c。您可以这样：

import time

def build_foo(target, source, env):
    print("Generating foo source files")
    time.sleep(5)
    with open("foo.h", "w") as f:
        f.write("")
    print("Done generating")

env = Environment()
env.Command(['foo.h', 'bar.so'], 'foo.in', build_foo)
env.Program('foo', 'foo.c')

构建输出如下所示：

$ scons -Q -j4
build_foo(["foo.h", "foo.so"], ["foo.in"])
Generating foo source files
Done generating
gcc -o foo.o -c foo.c
gcc -o foo foo.o

如果省略foo.h作为目标（即env.Command(['bar.so'], 'foo.in', build_foo)，则构建输出如下所示：

$ scons -Q -j4
gcc -o foo.o -c foo.c
build_foo(["foo.so"], ["foo.in"])
Generating foo source files
foo.c:2:10: fatal error: foo.h: No such file or directory
 #include "foo.h"
          ^~~~~~~
compilation terminated.
scons: *** [foo.o] Error 1
Done generating