梯度下降法
Posted CC的岁月童话
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了梯度下降法相关的知识,希望对你有一定的参考价值。
1. 牛顿法与梯度下降法比较
牛顿法是二阶收敛,梯度下降是一阶收敛,所以牛顿法就更快。如果更通俗地说的话,比如你想找一条最短的路径走到一个盆地的最底部,梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步,牛顿法在选择方向时,不仅会考虑坡度是否够大,还会考虑你走了一步之后,坡度是否会变得更大。所以,可以说牛顿法比梯度下降法看得更远一点,能更快地走到最底部。
牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径。
2. BGD、SGD、mini-batch GD
BGD对于所有样本计算梯度
SGD对一个随机样本计算梯度
mini-batch GD对一个批量样本计算梯度
mini-batch SGD对一个批量样本中的每个样本计算梯度,再算梯度均值
参考:
1. https://www.zhihu.com/question/19723347/answer/14636244
2. http://blog.csdn.net/llx1990rl/article/details/44001921
2. http://blog.csdn.net/llx1990rl/article/details/44001921
以上是关于梯度下降法的主要内容,如果未能解决你的问题,请参考以下文章