undefined symbol: __cudaRegisterFatBinaryEnd CUDA编译运行版本不匹配解决

Posted 2021-03-02 wind-chaser

 

如何解决pytorch 编译时CUDA版本与运行时CUDA版本不对应

在跑FPN模型时，发现本机是CUDA10.1,而pytoch==0.4.0，最高支持9.0，故安装CUDA9.0，用cuda-9.0的软连接代替cuda10.1来完成cuda版本的切换（不需要搞cudnn）

替换称cuda9.0后，重新make.sh，便解决了undefined symbol: __cudaRegisterFatBinaryEnd。一下是详细分析

 

如果pytorch的编译时CUDA版本和运行时CUDA版本不一致时，由于不同的 nvcc 编译器会生成不同的动态函数代码，由此会导致自己编写的 CUDA 函数无法正确运行。

常见的错误有：

undefined symbol: __cudaRegisterFatBinaryEnd （运行时为CUDA10.1，编译时CUDA版本<10.1）

undefined symbol: __cudaPopCallConfiguration （运行时为CUDA10.0，编译时CUDA<10.0）

等

由此思路有2个：

1. 重新编译 pytorch 使得编译时CUDA能够与运行时CUDA保持一致

2. 重新安装CUDA使得其与pytorch编译的版本一致。

服务器涉及多用户，因此采用了方案一避免引入其他问题：

具体的细节可以见我再github的讨论：issue

 

重新编译安装pytorch的脚本整理如下：

pip uninstall pytorch #  conda uninstall pytorch, if you use conda
nvcc -V # 查看 nvcc 版本

sudo rm -f /usr/local/cuda # optional, only if you already have this symlink
sudo ln -s /usr/local/cuda-10.0 /usr/local/cuda

# 将如下路径加入环境变量，如~/.bashrc
export CUDA_HOME=/usr/local/cuda
export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64"
export LIBRARY_PATH="$LIBRARY_PATH:/usr/local/cuda/lib64"

source ~/.bashrc # 确保路径被加载

# 编译并安装 pytorch
conda install numpy pyyaml mkl=2019.3 mkl-include setuptools cmake cffi typing
conda install -c pytorch magma-cuda100 # optional step
# clone the pytorch source code
git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
make clean # make clean is needed in my case
export CMAKE_PREFIX_PATH=${CONDA_PREFIX:-"$(dirname $(which conda))/../"}
sudo python setup.py install # sudo is needed in my case.

对于方案二、新装CUDA9.0 后，编译执行即可

 

 

参考：

https://www.cnblogs.com/luruiyuan/p/10720581.html