深度学习中收敛是什么意思？

Posted 2022-02-14 17岁boy想当攻城狮

原理

收敛的意思是指某个值一直在往我们所期望的阈值靠，就拿深度学习中loss损失来做示例，如下一张图是loss在每轮训练时的一个曲线图，可以看到loss一直从一开始的1.8在往1.0降，1.0就是我们期望的阈值，而1.8是最开始loss最大损失值。

可以看到在训练过程中损失值一直在往我们期望的阈值上靠近，这个曲线非常平滑，没有出现曲线一直卡在某个点不下降或突然曲线上升了（这个情况是跑飞了）的原因，如果有可能是学习率设置的问题。

下图这个就是一个损失时跑飞的一个曲线图：

可以看到原本下降的过程中又突然增长回来了，这个原因可能是你学习率在进行衰减时出现了问题，这样的损失值在更新权重时肯定会有影响，这种情况也叫局部震荡，即在一个特定阈值附近进行来回跳跃，在1.0的阈值之间来回跳跃始终迭代不前，这种情况就出现了无法收敛的问题。

学习率代表了你loss损失值的利用率，所以你loss衰减取决于你的学习率。