机器学习：SGD随机梯度下降法
Posted AI算法攻城狮
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习：SGD随机梯度下降法相关的知识，希望对你有一定的参考价值。
一、梯度下降
1、什么是梯度下降？
梯度的计算方式是求解函数关于每个变量的一阶偏导
梯度是一个向量
梯度表示函数变化率最大的方向
梯度的标记为反三角
因为梯度下降是一种思想，没有严格的定义，所以用一个比喻来解释什么是梯度下降。
简单来说，梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择方向的原因，我们找到的的最低点可能不是真正的最低点。如图所示，黑线标注的路线所指的方向并不是真正的地方。
既然是选择一个方向下山，那么这个方向怎么选？每次该怎么走？
先说选方向，在算法中是以随机方式给出的，这也是造成有时候走不到真正最低点的原因。
如果选定了方向，以后每走一步，都是选择最陡的方向，直到最低点。
总结起来就一句话：随机选择一个方向，然后每次迈步都选择最陡的方向，直到这个方向上能达到的最低点。
2、梯度下降是用来做什么的?
在机器学习算法中,有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行
优化，以便寻找到最优的参数&#
以上是关于机器学习：SGD随机梯度下降法的主要内容，如果未能解决你的问题，请参考以下文章