机器学习之线性回归

Posted 2021-02-02 spiritejx

1、线性回归 y=θx+ε，其中y=[y1,y2,y3,...,yn]^T，θ=[θ1,θ2,...]，x=[x1,x2,x3,...,xn]^T，ε（残差）符合正态分布

那么对于该模型，就是在损失函数最小的前提条件下，寻找θ取值的过程。其中，损失函数采用最小二乘的方法。

2、对于求θ，有三种方法：

1）代数方法：直接求导硬带进去。 ---不建议采用该方法。

2）矩阵方法：(Xθ-Y)^T(Xθ-Y)对θ求导为0，可推出θ=(X^TX)^-1X^TY。 ---对于维度较低的时候比较适用，当维度过高时，计算机求逆的时间极具增加，性能较差。

3）梯度下降法：迭代思想，对于高维度数据非常好使，利用泰勒公式做一个一阶的展开。然后设定初始值、步长（不宜太大，0.05就可以），学习率为-f’(x)，进行多次迭代计算即可。

3、岭回归和LASSO回归：

 为应对过拟合问题，引入正则化的方法，即通过增加损失值的方式来降低模型复杂度，也就是所谓的“牺牲精度，换取稳定性”。其中，岭回归就是L2正则化，解决病态矩阵的共线性问题；LASSO回归是L1正则化，具有特征选择的作用。

4、其他问题：

在实际使用过程中，还需要证明自变量和因变量的强线性关系，并注意特征向量的共线性问题。