优化算法比较的实验结果比较（BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop）
Posted x739400043
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了优化算法比较的实验结果比较（BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop）相关的知识，希望对你有一定的参考价值。
最近在学习神经网络的优化算法，发现网上有很多的算法介绍，但是却没有算法实现和实验对比，所以我就用python实现了BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop等算法，另外的Adam和NAdam算法是将Momentum，Nesterov，Adagrad几项合并起来的算法，属于工程方面的内容，所以我就没有实现了。
算法原理主要参考文献是：
整体算法参考：深度解读最流行的优化算法：梯度下降
整体算法参考：深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
Momentum 算法实现参考： Deep Learning 最优化方法之Nesterov(牛顿动量)
以上是关于优化算法比较的实验结果比较（BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop）的主要内容，如果未能解决你的问题，请参考以下文章
监督学习：随机梯度下降算法（sgd）和批梯度下降算法（bgd）