[机器学习入门篇]-梯度下降法
Posted DLarTisan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[机器学习入门篇]-梯度下降法相关的知识，希望对你有一定的参考价值。
梯度下降法的作用是求到一种方案，使得拟合过程中的损失函数最小(结果可能只为局部最优值)，除此之外还有最小二乘法等方法。
关于此方法详细的阐述参见->这里
梯度下降法初始点的选取分为随机选取初值和自动求取初值两种方法。
梯度下降法有两种具体的实现方法：
1.批量梯度下降法：每次向梯度的反方向移动(梯度为函数增长最快的方向，减少最快的方向为其反方向)。
2.随机梯度下降法：轮流对分量求偏导，除求偏导的分量外其他分量设为0，向“偏导方向”的反方向移动。
关于这两种方法具体的阐述见->这里
以上是关于[机器学习入门篇]-梯度下降法的主要内容，如果未能解决你的问题，请参考以下文章