为啥随机梯度下降方法能够收敛?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了为啥随机梯度下降方法能够收敛?相关的知识,希望对你有一定的参考价值。

其实这个还是要好好的看看论文,然后让导师再给你好好的讲解一下吧,我这里只能说我自己的理解。

随机梯度下降算法

首先要知道什么是随机并行梯度下降算法。其实等于没有模型的优化的算法,就是更加的适用于那种控制变量比较多的,但是系统比较复杂的,又没有办法准确的去建立数学模型的优化控制的过程。


期望收敛

其实我个人觉得是期望收敛而已吧,因为我们在进行梯度估计的时候,基本上是提高梯度的估计精确度,然后实施以下正向扰动和负向扰动的,基本上两次扰动后,所有的函数值都会指示出梯度的估计。


模型训练

其实我们知道在遇到一些比较复杂的都会选择建模,那么在模型训练的时候。基本上我们是把代价函数作为非凸的,那么获得的都是局部最优。这样就不确定是不是可以收敛到全局最优的效果了。

在局部最优的时候,参数的表现是基本稳定下来,不再发生任何变化。既然使用的数据少(随机梯度下降法就用的数据少)可能无法找到局部最优值,因为在很大概率上,它确实是能够靠近的,又不用那么大的计算量,所以就被广泛使用了。

所以说我觉得其实都是期望收敛而已。


总结

其实我觉得我说这么多,不一定说明白啥,基本上我个人是觉得对于这种随机梯度下降的方法是期望收敛而已,真的是没有办法确定是否收敛的。

毕竟我没有论文专业,更没有导师专业,我只是用我自己的知识能力去回答的问题,所以说我由衷的建议你去看论文,看不懂就去问导师了,那才是正道啊,像我们这种人,毕竟没有那么专业,我害怕让你误入歧途。

参考技术A

梯度下降法是一个一阶最优化算法,通常也称为最速下降法。要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。

    梯度下降法的优化思想

是用当前位置负梯度方向作为搜索方向,因为该方向为当前位置的最快下降方向,所以也被称为是最速下降法,最速下降法越接近目标值,步长越小(cost函数是凸函数,比如x^2梯度就是越来越小),前进越慢。

    梯度下降法的缺点

靠近极小值时速度减慢。

直线搜索可能会产生一些问题。

可能会“之字型”地下降。

    梯度下降收敛速度慢的原因:

梯度下降中,x =φ(x) = x - f'(x),φ'(x) = 1 - f''(x) != 0极值领域一般应该不会满足为0。则根据高阶收敛定理2.6可以梯度下降在根*x附近一般一阶收敛。

梯度下降方法中,负梯度方向从局来看是二次函数的最快下降方向,但是从整体来看却并非最好。

    梯度下降最优解

梯度下降法实现简单,当目标函数是凸函数时,梯度下降法的解是全局解。一般情况下,其解不保证是全局最优解,梯度下降法的速度也未必是最快的。

Mini-batch gradient它还是采用了batch的思路,也就是所有样本一起更新。和batch不同的是mini,在求解方向的时候选择了一部分样本一起更新,这样就减少了计算量,同时它又不像SGD那样极端只使用一个样本,所以保证了方向的精确性。

论文阅读 SNAPSHOT ENSEMBLES

引入

1. 随机梯度下降的特点

随机梯度下降法(Stochastic Gradient Descent)作为深度学习中主流使用的最优化方法, 有以下的优点:

  • 躲避和逃离假的鞍点局部极小点的能力

这篇论文认为, 这些局部极小也包含着一些有用的信息, 能够帮助提升模型的能力.

2. 局部极小的意义

神经网络的最优化一般来说, 不会收敛在全局最小上, 而是收敛在某个局部极小上. 这些局部极小有着的区别. 而对于好坏的区分, 一般认为:

  • 局部极小有着平坦的区域flat basin, 这些点对应模型的泛化性比较好, 是更好的局部极小

3. SGD与局部极小

SGD在最优化过程中, 会避免陡峭的局部极小, 这是因为:

  • 计算得到的梯度是由mini-batch得到的, 因此是不精确的
  • 当学习率learning rate比较大的时候, 沿着这个不精确的梯度的某一步移动不会到达具有陡峭局部的极小点

这是SGD在最优化过程中的优点, 避免了收敛域陡峭的局部极小.

但当学习率比较小的时候, SGD方法又趋向于收敛到最近的局部极小.

SGD的这两种截然不同的行为, 会在训练的不同阶段表现出来:

  • 初始阶段使用大的学习率, 快速移动到靠近平坦局部极小的区域
  • 当搜索进行到没有提升的阶段, 降低学习率, 引导搜索收敛到最终的局部极小里面

4. 模型训练与局部极小

局部极小的数量, 随着模型中参数的增多, 呈指数式增加. 因此神经网络中的局部极小数不胜数. 同一个模型, 因为初始化的不同, 或者训练样本batch顺序的不同, 会收敛到不同的局部极小中去, 因此模型的表现也就会有差异.

往往在实际中, 不同的局部极小产生的最终的总误差近似, 但是实际上, 不同局部极小对应的不同模型在预测时会产生不同的错误. 这种模型之间的差异在进行Ensemble(投票, 平均)会被利用到, 往往对最终的预测结果都有提升, 因此在各种比赛中, 多模型Ensemble被广泛使用.

5. Ensemble与神经网络

由于神经网络训练的耗时, 导致多模型的Ensemble在深度学习领域应用不如传统的机器学习方法广泛. 因为用于Ensemble的每个基模型, 都是单独训练的, 往往单个模型的训练就比较耗时了, 因此这种提升模型表现的方法成本是相当高的.

这篇论文提出了一种方法, 不需要增加额外的训练消耗, 通过一次训练, 得到若干个模型, 并对这些模型进行Ensemble, 得到最终的模型.

原理

1. 概括

首先, 在对神经网络使用SGD方法进行训练时, 利用SGD方法能够收敛逃离局部极小的特点, 在一次训练过程中, 使模型(M)次收敛于不同的局部极小, 每次收敛, 都代表这一个最终的模型, 我们将此时的模型进行保存. 然后使用一个较大的学习率逃离此时的局部极小.

在论文中, 对学习率的控制使用了一种余弦函数, 这种函数表现为:

  • 急剧提升学习率
  • 在某次训练过程中, 学习率迅速下降

这种训练方式就像在最优化路程中, 截取了几个快照Snapshot, 因此命名为Snapshot Ensembling. 下图中的右半部分就是对这种方法的图像表现.

技术分享图片

2. 神经网络的隐式与显式Ensemble

各种Dropout技术是一种隐式Ensemble技术, 在训练的时候, 随机地将隐藏层中的部分结点, 且在每次训练过程中隐藏的结点都不相同, 而在训练时则使用所有结点.

因此, 在使用Dropout技术训练的过程中, 通过随机地去除隐藏层的结点, 创建了无数个共享权重的模型. 这些模型在预测的时候, 被隐式地Ensemble在一起.

这篇论文提出的Snapshot Ensemble则是显式地将多个不共享权值的模型组合在一起, 达到提升的效果.

3. 详述

总的来说, Snapshot Ensemble就是在一次训练(最优化)过程中, 在最终收敛之前, 访问多个局部极小, 在每个局部极小保存快照即作为一个模型, 在预测的使用使用所有保存的模型进行预测, 最后取平均值作为最终结果.

而这些模型保存点(快照点)不是随意选取的, 我们希望:

  • 有尽量小的误差
  • 每个模型误分类的样本尽量不要重复, 保证模型的差异性

这就需要在最优化过程中进行一些特别的操作.

观察标准的最优化路径, 通常来说, 开发集的误差只有在学习率下调之后才会急剧下降, 按照正常的学习率下降策略, 上述情况往往会在很多个Epoch之后才会出现.

然而, 很早地降低学习率继续训练, 对最后的误差并不会造成大的影响, 却极大地提高了训练的效率, 使得模型在较少的epoch轮数迭代后就达到局部极小成为了可能.

因此, 论文中采用了Cyclic Cosine Annealing方法, 很早地就下调了学习率, 使训练尽快地到达第一个局部极小, 得到第一个模型. 然后提升学习率, 扰乱模型, 使得模型脱离局部极小, 然后重复上述步骤若干次, 直到获取指定数量的模型.

而学习率的变化, 论文中使用如下的函数:

[alpha(t)=f(mod(t-1, lceil T/M ceil))]

其中, (t)是迭代轮数, 这里指的是batch轮数; (T)是总的batch数量; (f)单调递减函数; (M)是循环的数量, 也就是最终模型的数量. 换句话说, 我们将整个训练过程划分成了(M)个循环, 在每个循环的开始阶段, 使用较大的学习率, 然后退火到小的学习率. (alpha=f(0))给予模型足够的能量脱离局部极小, 而较小的学习率(alpha=f(lceil T/M ceil))又能使模型收敛于一个表现较好的局部极小.

论文中使用如下的shifted cosine function:

[alpha(t)=frac{alpha_0}{2}(cos(frac{pimod(t-1,lceil T/M ceil)}{lceil T/M ceil})+1)]

(alpha_0)是初始的学习率, 而(alpha=f(lceil T/M ceil)approx0)这保证了最小的学习率足够小. 每个batch作为一次循环(而不是每个epoch). 以下是整个学习过程的表现.

技术分享图片

以上是关于为啥随机梯度下降方法能够收敛?的主要内容,如果未能解决你的问题,请参考以下文章

随机梯度下降未能在我的神经网络实现中收敛

随机梯度下降收敛(Stochastic gradient descent convergence)

通过实例详解随机梯度与梯度下降

随机梯度下降法实例

用随机梯度下降法(SGD)做线性拟合

梯度下降的例子