如何将 OpenFST 链接到 tensorflow 自定义操作？

Posted 2023-02-21

【中文标题】如何将 OpenFST 链接到 tensorflow 自定义操作？

【英文标题】：How to link OpenFST to tensorflow custom op?

【发布时间】：2019-05-29 02:28:14

【问题描述】：

我正在尝试编译一个需要 OpenFST (http://www.openfst.org/twiki/bin/view/FST/WebHome) 的 tensorflow 自定义操作。但是，我在运行时遇到了编译错误：

import tensorflow as tf
decoder_op = tf.load_op_library('./libfst_decoder.so')

并得到一个未定义的符号错误undefined symbol: _ZN3fst21ConvertToLegalCSymbolEPSs，因此无法找到链接的对象。

这是我正在使用的 CMake 文件：

cmake_minimum_required(VERSION 3.5)

execute_process(COMMAND python3 -c "import tensorflow; print(tensorflow.sysconfig.get_include())" OUTPUT_VARIABLE Tensorflow_INCLUDE_DIRS)

set (CMAKE_CXX_FLAGS "--std=c++11 -fPIC -O2 -D_GLIBCXX_USE_CXX11_ABI=0")

link_directories("/miniconda/envs/py36/lib/python3.6/site-packages/tensorflow")
include_directories($Tensorflow_INCLUDE_DIRS)
include_directories("/usr/local/include")
add_library(fst_decoder SHARED fst_decoder.cc simple_decoder.cc)
target_link_libraries(fst_decoder -ltensorflow_framework -lfst -ldl -lm)

CMake 文件包含外部库是否存在任何明显问题？没有太多编译 C++ 的经验。

【参考方案1】：

解决方案是使用以下命令重新编译 OpenFST： make CFLAGS='-D_GLIBCXX_USE_CXX11_ABI=0 -std=c++11' CXXFLAGS='-D_GLIBCXX_USE_CXX11_ABI=0 -std=c++11' 因为 tensorflow 使用 D_GLIBCXX_USE_CXX11_ABI=0。

【讨论】：

请注意，TF 提供了一些功能来自动获取这些标志（tensorflow.sysconfig.get_flags() 或类似的东西）。