梯度下降算法VS正规方程算法

Posted zgl19991001

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了梯度下降算法VS正规方程算法相关的知识,希望对你有一定的参考价值。

技术图片

梯度下降算法的大家族:

①批量梯度下降:有N个样本,求梯度的时候就用了N个样本的梯度数据

  优点:准确

  缺点:速度慢

②随机梯度下降:和批量梯度下降算法原理相似,区别在于求梯度时没有用所有的N歌样本数据,而是仅仅选取1个来求梯度

  优点:速度快

  缺点:准去率地

③小批量梯度下降:批量梯度下降算法和随机梯度下降算法的折中,比如N=100,spark中使用此方法

以上是关于梯度下降算法VS正规方程算法的主要内容,如果未能解决你的问题,请参考以下文章

正规方程,梯度下降,岭回归——机器学习

机器学习算法原理与实践-正规方程梯度下降(文章迁移)

机器学习算法原理与实践-正规方程梯度下降(文章迁移)

机器学习线性回归优化损失函数

正规方程(Normal Equation)——对于线性回归问题的一种快速解法

正规方程