Pytorch的Reproducibility（可复现性）
Posted yanxingang
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Pytorch的Reproducibility（可复现性）相关的知识，希望对你有一定的参考价值。
对于Pytorch的结果复现，在不同版本的pytorch或者不同的硬件平台之间，不能够保证结果是完全一致的，即使在CPU和GPU上采用相同的随机数种子。
关于torch.backend.cudnn.benchmark， （CuDNN backend是什么）
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
是相对来说确定性的模式。
包括Conv2d这样的函数，In some circumstances when using the CUDA backend with CuDNN, this operator may select a nondeterministic algorithm to increase performance. If this is undesirable, you can try to make the operation deterministic (potentially at a performance cost) by setting torch.backends.cudnn.deterministic = True.
以上是关于Pytorch的Reproducibility（可复现性）的主要内容，如果未能解决你的问题，请参考以下文章
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
PyTorch 中是不是存在干净且可扩展的 LSTM 实现？ [关闭]
如何通过 pytorch 使 Intel GPU 可用于处理？