Ubuntu SMP 16.04.1使用huggingface/transformers 4.8.2报错 version `GLIBC_2.29‘ not found

Posted 2022-12-07 梆子井欢喜坨

在GPU服务器上使用新版的transformers包报了一个错

ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by    
/home/tangyi/miniconda3/envs/pytorch_gpu/lib/python3.7/site-packages/tokenizers/tokenizers.cpython-37m-x86_64-linux-gnu.so)

google一番找到解决方法
https://stackoverflow.com/questions/67636846/importerror-when-from-transformers-import-berttokenizer

推测新版transformers的tokenizer需要2.29版本的GLIBC，但是Ubuntu 16不支持

解决方法1：使用老版本的transformers
亲测可行

conda install -c huggingface tokenizers=0.10.1 transformers=4.6.1

尝试解决方法2：升级Ubuntu至版本18
结果：升级到18仍然解决不了问题。