数学建模学习：岭回归和lasso回归

Posted 2022-05-27 当挪威森林遇上银渐层

线性回归

在多元线性回归模型中，估计回归系数使用的是OLS，并在最后讨论异方差和多重共线性对模型的影响。事实上，回归中自变量的选择大有门道，变量过多可能会导致多重共线性问题导致回归系数不显著，甚至造成OLS估计失效。

岭回归和lasso回归在OLS回归模型的损失函数上加上了不同的惩罚项，该惩罚项由回归系数的函数组成，一方面，加入的惩罚项能够识别出模型中不重要的变量，对模型起到简化作用，可以看作逐步回归法的升级版，另一方面，加入的惩罚项让模型变得可估计，即使原数据矩阵不满足列满秩。

线性回归模型

在标准线性回归中，通过最小化真实值($y_i$)和预测值(${\hat{y}}_i$)的平方误差来训练模型，这个平方误差值也被称为残差平方和(RSS, Residual Sum Of Squares):
$$RSS=\sum _{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2$$
最小二乘法即最小残差平方和，为：
$$J_{\beta }(\beta )=\underset{\beta }{\mathrm{argmin}}\sum _{i=1}^p{\left(y_i-x_i{\beta }_i-{\beta }_0\right)}^2$$
将其化为矩阵形式：
$$J_{\beta }(\beta )=\underset{\beta }{\mathrm{argmin}}(Y-X\beta {)}^T(Y-X\beta )$$
求解为：
$$\beta ={\left(X^{T}X\right)}^{-1}{X}^{T}Y$$
由于求解$\beta$，需要假设矩阵$X^{T}X$是满秩矩阵
然而$X^{T}X$往往不是满秩矩阵或者某些列之间的线性相关性比较大，例如会出现变量数(属性数)远超过样例数，导致$X$的列数多于行数，$X^{T}X$显然不满秩，可解出多个$\beta$，使得均方误差最小化，即在多元回归中，特征之间会出现多重共线问题，使用最小二乘法估计系数会出现系数不稳定问题，缺乏稳定性和可靠性。

岭回归

在矩阵$X^{T}X$的对角线元素加一个小的常数值$\lambda$，取其逆求得系数：
$${\hat{\beta }}_{\text{ridge }}={\left(X^{T}X+\lambda I_n\right)}^{-1}{X}^{T}Y$$
$I_n$为单位矩阵，对角线全为1，类似山岭
$\lambda$是岭系数，改变其数值可以改变单位矩阵对角线的值

随后代价函数$J_{\beta }(\beta )$在$RSS$基础上加入对系数值的惩罚项：
$$\begin{array}{rl}{J}_{\beta }(\beta )& =RSS+\lambda \sum _{j=0}^n{\beta }_j^2\\ & =RSS+\lambda \Vert \beta {\Vert }^2\end{array}$$
矩阵形式为：
$$\begin{array}{rl}{J}_{\beta }(\beta )& =\sum _{i=1}^p{\left(y_i-X_i\beta \right)}^2+\lambda \sum _{j=0}^n{\beta }_j^2\\ & =\sum _{i=1}^p\left(y_i-X_i\beta \right)+\lambda \Vert \beta {\Vert }^2\end{array}$$
$\lambda$是超参数，用来控制对${\beta }_J$的惩罚强度，$\lambda$值越大，生成的模型就越简单

λ

以上是关于数学建模学习：岭回归和lasso回归的主要内容，如果未能解决你的问题，请参考以下文章

岭回归和Lasso回归有啥区别？

机器学习岭回归和LASSO回归详解以及相关计算实例-加利福尼亚的房价数据集红酒数据集

机器学习之线性回归岭回归Lasso回归

用Python实现岭回归算法与Lasso回归算法并处理Iris数据集

岭回归与lasso回归算法

岭回归与lasso回归算法