解决No registered ‘MultiDeviceIteratorGetNextFromShard‘ OpKernel for GPU devices compatible with node(

Posted 2021-09-07 Better Bench

1 环境

tensorlfow 1.15
Python3.7

在使用tf.distribute.MirroredStrategy()进行分布式训练的时候报错
报错No registered ‘MultiDeviceIteratorGetNextFromShard’ OpKernel for GPU devices compatible with node {{node MultiDeviceIteratorGetNextFromShard}}

2 解决方式

查阅资料

此警告由于TensorFlow 版本问题，与多 GPU 分布策略有关。降级到最新的稳定版本 1.14.0 将消除警告。应该很快发布的 2.0.0rc1 版本也可能会解决这个问题。

解决办法

pip uninstall tensorflow-gpu 
pip install tensorflow-gpu==1.14