机器学习 | 梯度下降种类及对比

Posted 2021-05-22 AI算法攻城狮

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习 | 梯度下降种类及对比相关的知识，希望对你有一定的参考价值。

批量梯度下降法（Batch Gradient Descent，BGD）是梯度下降法最常用的形式，具体做法：在更新参数时使用所有的样本来进行更新。

$\\Theta i=\\Theta i-\\alpha \\sum_{j=1}^{m}(h\\Theta(X0^{j},X1^{j},...Xn^{j})-y_{j})Xi{^{j}}$

求梯度的时候用了所有m个样本的梯度数据。BGD容易得到最优解，但由于每次考虑所有样本，速度很慢。

随机梯度下降法（Stochastic Gradient Descent，BGD）和批量梯度下降法原理类似，区别在与求梯度时没有用所有的m个样本的数据，而是仅仅采用一个样本j来求梯度。对应的更新公式是：

以上是关于机器学习 | 梯度下降种类及对比的主要内容，如果未能解决你的问题，请参考以下文章