设置随机种子复现PytorchTensorFlow结果

Posted 2021-12-20 风信子的猫Redamancy

设置随机种子复现Pytorch、TensorFlow结果

有时候在我们的学习过程中，我们对同一个代码怎么进行比较，怎么复现别人的结果

然后我就想，因为我希望我的结果是可复现的，而不是很随机的，这样可以让人复现结果的时候更加容易，也更加方便

这里我只记录了两个框架的，其中如果利用TensorFlow作为keras后端，那和TensorFlow是一样的

Pytorch 设置随机种子

Pytorch

我们只需要在我们的代码上加上这几行

torch.manual_seed(seed)            # 为CPU设置随机种子
torch.cuda.manual_seed(seed)       # 为当前GPU设置随机种子
torch.cuda.manual_seed_all(seed)   # 为所有GPU设置随机种子

Python & Numpy

但是我们有时候在我们的代码中，读取数据的过程采用了随机预处理(如RandomCrop、RandomHorizontalFlip等)，那么对python、numpy的随机数生成器也需要设置种子。

import random
import numpy as np
random.seed(seed)
np.random.seed(seed)

Dataloader

如果dataloader采用了多线程(num_workers > 1), 那么由于读取数据的顺序不同，最终运行结果也会有差异。

也就是说，改变num_workers参数，也会对实验结果产生影响。

目前暂时没有发现解决这个问题的方法，但是只要固定num_workers数目（线程数）不变，基本上也能够重复实验结果。

CUDNN

cudnn中对卷积操作进行了优化，牺牲了精度来换取计算效率。如果需要保证可重复性，可以使用如下设置:

from torch.backends import cudnn
cudnn.benchmark = False            # if benchmark=True, deterministic will be False
cudnn.deterministic = True

不过实际上这个设置对精度影响不大，仅仅是小数点后几位的差别。所以如果不是对精度要求极高，其实不太建议修改，因为会使计算效率降低。

Pytoch 设置随机种子总结

def setup_seed(seed):
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.cuda.manual_seed(seed)
    np.random.seed(seed)
    random.seed(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.enabled = False
    torch.backends.cudnn.benchmark = False
    #torch.backends.cudnn.benchmark = True #for accelerating the running
setup_seed(2021)

TensorFlow 设置随机种子

TensorFlow & numpy

TensorFlow其实和我们的pytorch差不多，首先我们都需要对我们numpy和TensorFlow进行一个随机种子的设置

import numpy as np
import tensorflow as tf
np.random.seed(2021)
tf.random.set_seed(2021)

每日一句

Faith can move mountains.

信念能移山(精诚所至，金石为开)