优化算法
Posted nowgood
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了优化算法相关的知识，希望对你有一定的参考价值。
以下内容来自深度学习花树和维基百科
动量法
虽然随机梯度下降仍然是非常受欢迎的优化方法， 但其学习过程有时会很慢。 动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是 带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方 向移动。动量的效果如图 8.5 所示。
?
?
[ egin{align*} varepsilon cdot vec g &= vec v - alpha cdot vec v \\frac {partial{loss}}{partial vec w} &= vec g =frac{1-alpha}{varepsilon} cdot vec v end{align*} ]
?
?
?
?
以上是关于优化算法的主要内容，如果未能解决你的问题，请参考以下文章