通过实例详解随机梯度与梯度下降

Posted 2020-10-06

一、梯度下降、随机梯度下降、批量梯度下降

• 梯度下降：梯度下降中，对于θ 的更新，所有的样本都有贡献，也就是参与调整θ 。其计算得到的是一个标准梯度。因而理论上来说一次更新的幅度是比较大的。如果样本不多的情况下，当然是这样收敛的速度会更快。

• 随机梯度下降：随机梯度下降法，随机用样本中的一个例子来近似总体样本，来调整θ 。所以随机梯度下降是会带来一定的问题，因为计算得到的并不是准确的全局的梯度，容易陷入到局部最优解中

• 批量梯度下降：批量的梯度下降就是一种折中的方法，他用了一些小样本来近似全部的，其本质就是一个样本不太准，那就用30或50个样本。那比随机的要准不少，而且批量的话还是非常能够准确反映总体样本的一个分布情况的。