优化算法

Posted 2020-12-30 nowgood

以下内容来自深度学习花树和维基百科

动量法

虽然随机梯度下降仍然是非常受欢迎的优化方法， 但其学习过程有时会很慢。 动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是 带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方 向移动。动量的效果如图 8.5 所示。

?

?

[ egin{align*} varepsilon cdot vec g &= vec v - alpha cdot vec v \\frac {partial{loss}}{partial vec w} &= vec g =frac{1-alpha}{varepsilon} cdot vec v end{align*} ]

?

?

?

?