GPU训练时Tensorflow 2.5退出代码-1073740791

Posted

技术标签:

【中文标题】GPU训练时Tensorflow 2.5退出代码-1073740791【英文标题】:Tensorflow 2.5 exit code -1073740791 when GPU training 【发布时间】:2021-12-04 10:32:02 【问题描述】:

在 GPU 上训练 Tensorflow 模型时,调用:

model.fit(...)

立即退出代码-1073740791 (0xC0000409)

Epoch 1/500
2021-10-16 20:13:42.154951: I tensorflow/stream_executor/platform/default/dso_loader.cc:53] Successfully opened dynamic library cudnn64_8.dll

Process finished with exit code -1073740791 (0xC0000409)

在 CPU 上做同样的事情没有任何问题。

系统信息:

Python 版本:3.8 CUDA 版本:11.2 cuDNN 版本:8.1 Tensorflow 版本:2.5 操作系统:Windows 10 专业版

【问题讨论】:

【参考方案1】:

从终端运行相同的脚本显示不同的错误,表明该文件

cudnn_adv_infer64_8.dll

在路径中找不到。

从 cuDNN bin 文件夹中移动其余文件,即:

cudnn_adv_infer64_8.dll
cudnn_adv_train64_8.dll
cudnn_cnn_infer64_8.dll
cudnn_cnn_train64_8.dll
cudnn_ops_infer64_8.dll
cudnn_ops_train64_8.dll

进入 CUDA bin 文件夹解决了这个问题。

【讨论】:

以上是关于GPU训练时Tensorflow 2.5退出代码-1073740791的主要内容,如果未能解决你的问题,请参考以下文章

训练某些网络时,GPU 上的 Keras(Tensorflow 后端)比 CPU 上慢

使用 TensorFlow 训练图像时使用 GPU 错误

Tensorflow设置GPU训练模型

Tensorflow 多gpu训练

Tensorflow GPU训练模型时假卡死

TensorFlow指定GPU/CPU进行训练和输出devices信息