梯度下降
Posted aios
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了梯度下降相关的知识，希望对你有一定的参考价值。
梯度下降算法
- 监督学习
损失函数的导数称为梯度，若对损失函数的参数
求偏导，则这个偏导数代表着损失函数在该参数下各点的斜率；
目标就是让损失能尽可能的小，希望取到损失函数的最小值，可以通过梯度函数得到损失函数上各点的斜率，然后逐步更新参数从而满足要求的这种方法就是梯度下降！
对于L2损失，参数对应的梯度函数如下：
?
若参数上某一点对应梯度为正值(上图红点)，此时应该减小，即加上一个负数，从而降低loss；
若参数上某一点对应梯度为负值(上图蓝点)，此时应该增加，即给加上一个正数来降低loss；
以上是关于梯度下降的主要内容，如果未能解决你的问题，请参考以下文章