指数加权平均动量梯度下降法
Posted 劳埃德·福杰
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了指数加权平均动量梯度下降法相关的知识，希望对你有一定的参考价值。
1.指数加权平均(exponentially weighted averages)
这里有一年的温度数据。
如果想计算温度的趋势，也就是局部平均值(local average)，或者说移动平均值(moving average)，怎么做？
：当天的温度，
：从当天开始计算前
天的平均温度，
：从昨天开始计算前天的平均温度。
比如，β=0.9，计算的就是前10天的平均温度，如下图红线所示。β=0.98，计算的就是前50天的平均温度，如下图绿线所示。
为什么是天？
，
，
...
...
这些项的系数呈指数级减少
0.37，
当β->1，选定为分界线，从
开始，以后的项都可忽略不计，(1-β)=
。
例：β=0.9，10为分界线，
(1-0.9)
0.9
0.
...+0.
...
。
β=0.98，50为分界线，(1-0.98)0.
0.
...+0.
...
。
偏差修正(Bias correction)
β=0.98，如果没有进行偏差修正，得到的其实是下图的紫线。
，
0.02
，
=0.98x0.02+0.02
=5，
，算局部平均值的时候，不太合理，偏小。
所以，在估测初期要进行一个修正，公式：
例：t=2，要修正为
，β=0.98
当t越来越大的时候，就近似等于，上图的紫线就和绿线重合了，修正偏差的作用也就不大了。
所以，如果你关心初始时期的偏差，偏差修正能让你在早期获得更好的估测。不在乎早期的偏差，不做修正也问题不大。
指数加权平均优点是只会占很少的内存，计算的时候只需要一行代码，需要知道的信息很少。计算精度肯定不如直接计算前n天的均值，但是后者要保存前n天的数据，更占内存。
2.动量梯度下降法
以上是关于指数加权平均动量梯度下降法的主要内容，如果未能解决你的问题，请参考以下文章