RuntimeError:Expected to have finished reduction in the prior iteration

Posted lyl0618

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了RuntimeError:Expected to have finished reduction in the prior iteration相关的知识，希望对你有一定的参考价值。

技术图片

 

 解决办法：

添加find_unused_parameters=true

model=torch.nn.parallel.DistributedDataParallel(model,find_unused_parameters=true)

 

以上是关于RuntimeError:Expected to have finished reduction in the prior iteration的主要内容，如果未能解决你的问题，请参考以下文章