线性回归和梯度下降

Posted 2021-12-23 matrixmlpforever

在许多线性回归问题中都可以选择最小二乘法作为代价函数，在之前的文章线性代数——最小二乘法和投影矩阵中讲到过，系数项是可以通过公式 x=(ATA)^-1*ATb 一次性求到的，然而大量的训练数据可能使得A^TA没有逆，即便是利用伪逆，其计算量也会很大，所以才有了梯度下降来迭代系数的方法。

梯度下降法分许多种，这里分析以负梯度为方向更新的方法

、

设Θ₁为待更新的系数，根据链式法则有

 

以双系数Θ₁，Θ₀ 为例，h（x）=Θ₁x1+Θ₀x2+b，对Θ₁求偏导后所得值就是x1，最终结果为

偏导的反方向往往指向局部最低点，所以每次往这个方向更新

 

其中σ是学习率，学习率的选取很重要，可以将它理解为更新的步幅，如果幅度过大就有可能一步跨过最低点，导致最后没法收敛