关于对率回归的求解,梯度下降和解析解相比有啥特点和优势,为啥?

Posted 2023-04-26

参考技术A 梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。梯度下降核心思想是基于偏导数原理求函数最小值，因此要求原函数的二次导数恒大于等于0（可证）。沿偏导数梯度下降最快（用泰勒公式证明）那么问题来了，基于偏导数，那么理论上只要有跟线性公式系数数量相等的样本数，就可求出系数值。为何需要梯度下降？主要有两点：1、数据存在噪声，根据有限样本可能求不出理论解，或者理论解包含了噪声信息。2、划分样本的超平面存在多解，偏导理论解只是针对有限样本信息的最有划分超平面。

机器学习100天（十四）：014 梯度下降算法求解线性回归

机器学习100天，今天讲的是：使用梯度下降算法求解线性回归问题。

一、梯度下降更新公式

之前我们介绍了正规方程法直接求解线性回归问题，但是梯度下降算法在机器学习中更为常用，因为面对复杂问题时，梯度下降算法能够更加容易获得全局最优解。上一节我们已经介绍了梯度下降算法的理论解释，下面我们将编写梯度下降算法的程序，解决线性回归问题。

还是房价预测的问题，简单线性模型：

y ^ = w 0 + w 1 x \\hat y=w_0+w_1x