如何使用自定义protobuf构建tensorflow 1.13.1？

Question

系统信息

我是否编写过自定义代码：修改bazel文件
操作系统平台和分发：Ubuntu 16.04
TensorFlow安装自：来源
TensorFlow版本：1.13.1从相应的标签下载（https://github.com/tensorflow/tensorflow/archive/v1.13.1.tar.gz）
Python版本：Python 3.5.2
巴塞尔版本：0.21.0
Protobuf版本：3.7.0（从源代码构建并放在文件系统中）
CUDA / cuDNN版本：10.0 / 7
GPU型号和内存：GeForce GTX 1060 Ti

上下文：默认情况下，tensorflow构建自己的protobuf代码。然而，protobuf也用于其他库，其导出的符号与tensorflow提供的符号相冲突。对该问题的唯一解决方案是对所有库（包括张量流）使用独特且独立（即，超出张量流）的protobuf版本。所以我基本上需要使用目标安装的protobuf版本构建tensorflow，它位于文件系统的某个位置。

问题：在构建tensorflow 1.13.1时，使用自定义版本的protobuf，安装在文件系统中的某个位置（不在默认系统路径中）。更具体地说，我的问题是：在tensorflow的bazel文件中需要进行哪些修改才能实现这一点。我是bazel的新手，我真的很困惑该怎么做......

这是我做的：

1）停用protobuf的内部构建，在.tf_configure.bazelrc我添加了一行：

build --action_env TF_SYSTEM_LIBS="protobuf_archive"

除了我在默认系统路径中安装的protobuf太旧而无法解析proto3文件之外，这可以正常工作。不管怎样，这不是一个真正的问题，因为我想使用我的自定义protobuf版本3.7.0。

2）指定在哪里找到protobuf我使用new_local_repository而不是tf_http_archive更改了workspace.bzl文件。

这里@ PATH_TO_PROTOBUF @如果我的文件系统中安装了protobuf库的路径。

    new_local_repository(
        name =  "protobuf_archive",
        path = "@PATH_TO_PROTOBUF@",
        build_file = clean_dep("//third_party/systemlibs:protobuf.BUILD"),
    )

    new_local_repository(
        name = "com_google_protobuf",
        path = "@PATH_TO_PROTOBUF@",
        system_build_file = clean_dep("//third_party/systemlibs:protobuf.BUILD"),
        system_link_files = 
            "//third_party/systemlibs:protobuf.bzl": "protobuf.bzl",
        ,
    )
    new_local_repository(
        name = "com_google_protobuf_cc",
        path = "@PATH_TO_PROTOBUF@",
        system_build_file = clean_dep("//third_party/systemlibs:protobuf.BUILD"),
        system_link_files = 
            "//third_party/systemlibs:protobuf.bzl": "protobuf.bzl",
        ,
    )

3）我通过更改规则使用的二进制文件更改了位于tensorflow-1.13.1 / third_party / systemlibs中的protobuf.BUILD文件：

cc_library(
    name = "protobuf",
    hdrs = HEADERS,
    linkopts = ["@PATH_TO_PROTOBUF@/lib/libprotobuf.so"],
    visibility = ["//visibility:public"],
)

cc_library(
    name = "protobuf_headers",
    hdrs = HEADERS,
    linkopts = ["@PATH_TO_PROTOBUF@/lib/libprotobuf.so"],
    visibility = ["//visibility:public"],
)

cc_library(
    name = "protoc_lib",
    linkopts = ["@PATH_TO_PROTOBUF@/lib/libprotoc.so"],
    visibility = ["//visibility:public"],
)

genrule(
    name = "protoc",
    outs = ["protoc.bin"],
    cmd = "ln -s @PATH_TO_PROTOBUF@/bin/protoc $@",
    executable = 1,
    visibility = ["//visibility:public"],
)

这样我认为一切都会有效，但是当我运行构建时：

ERROR: .../tensorflow-1.13.1/tensorflow/core/BUILD:2460:1: ProtoCompile tensorflow/core/lib/core/error_codes.pb.cc failed (Exit 127): protoc.bin failed: error executing command 
  (cd /home/robin/.cache/bazel/_bazel_robin/c04a70144cd329180403af87e4cbdc44/execroot/org_tensorflow && \
  exec env - \
    PATH=/bin:/usr/bin \
  bazel-out/host/genfiles/external/protobuf_archive/protoc.bin '--cpp_out=bazel-out/host/genfiles/' -I. -Iexternal/protobuf_archive -Ibazel-out/host/genfiles/external/protobuf_archive tensorflow/core/lib/core/error_codes.proto)
Execution platform: @bazel_tools//platforms:host_platform
[32 / 203] 6 actions, 5 running
    Executing genrule @protobuf_archive//:link_headers [for host]; 0s local
    ProtoCompile .../core/lib/core/error_codes.pb.cc [for host]; 0s local
    Compiling tensorflow/core/platform/default/logging.cc [for host]; 0s local
    ProtoCompile tensorflow/core/example/example.pb.cc [for host]; 0s local
    Executing genrule @local_config_cuda//cuda:cuda-include; 0s local
    [-----] Writing file external/llvm/llvm-tblgen-2.params [for host]
bazel-out/host/genfiles/external/protobuf_archive/protoc.bin: error while loading shared libraries: libprotoc.so.18: cannot open shared object file: No such file or directory

显然protoc失败只是因为加载器找不到libprotoc。

4）所以解决方案对我来说是微不足道的，只需设置LD_LIBRARY_PATH就可以自动找到libprotoc.so。遗憾的是，以下解决方案均无效：

A）直接设置LD_LIBRARY_PATH

export LD_LIBRARY_PATH=@PATH_TO_PROTOBUF@/lib
bazel build //tensorflow:tensorflow_cc.So

B）通过.tf_configure.bazelrc设置LD_LIBRARY_PATH：

build --action_env LD_LIBRARY_PATH="@PATH_TO_PROTOBUF@/lib"

输出与之前完全相同，所以我的第一句话就是不导出LD_LIBRARY_PATH（据我所知）。这可以解释为：

exec env - \
    PATH=/bin:/usr/bin \
bazel-out/host/genfiles/external/protobuf_archive/protoc.bin '--cpp_out=bazel-out/host/genfiles/'

不包含像这样的表达式

LD_LIBRARY_PATH=@PATH_TO_PROTOBUF@/lib/

我google了很长时间没有找到任何解决方案来解决这个问题（我测试了很多但没有任何效果）...也许这是我使用的Bazel版本的限制？不幸的是我不能使用更新版本的Bazel，因为tensorflow 1.13.1禁止它。

所以现在我不知道该怎么做......我想解决方案是对张量流的bazel项目文件做一些修改......