SWA(Stochastic Weight Averaging)实验

Posted 2021-09-05 goacademic

有论文说swa能涨分，那么我来实验一下

那么我将在cifar10数据集上进行实验

原理

论文地址：https://arxiv.org/pdf/2012.12645.pdf

SGD倾向于收敛到loss的平稳区域 平稳区域的大部分都处于边界，由于权重空间的维度比较高，SGD通常只会走到这些平稳区域的边界；SWA通过平均多个SGD的权重参数，使其能够达到平稳区域的中心.

为什么要去中心化呢？trainloss 最小的时候test error并不是最小，那么也就是泛化能力最好的地方不在train loss最小的地方。所以采用这个方法可以收敛到一个wide minima，这个wide minima有更好的泛化性；

在一个loss landscape上做visualization，优化分析，让他收敛到一个更好的local minima(极小值)

如何能收敛到这个泛化性更好的地方呢，那么采用SWA（类似优化器）能找到更好的local minima，故而泛化能力更好

wide minima数据集拟合极小值，类似定义的函数求各个参数拟合的极小值，而这个值不一定是loss最小的地方。因为loss不一定能反应拟合的曲线最小的函数。所以有时候需要更换loss

实验

模型采用：

shufflenet_v2_x0_5

数据集是cifar10

首先是没有用SWA

https://github.com/carlsummer/python_developer_tools/blob/main/python_developer_tools/cv/classes/demo/train_cifar10.py

然后是用swa

https://github.com/carlsummer/python_developer_tools/blob/main/python_developer_tools/cv/train/%E4%BA%8C%E9%98%B6%E6%AE%B5%E8%AE%AD%E7%BB%83/swa_pytorch.py 

实验结果表明：

用之前41%用之后69%

推荐库：https://github.com/carlsummer/python_developer_tools

参考

https://pytorch.org/docs/master/optim.html?highlight=swa_utils