回归-线性回归算法（房价预测项目）

Posted 2022-10-04 吾仄lo咚锵

文章目录

• 简介
• 损失函数
• 优化算法
• • 正规方程
  • 梯度下降
• 项目实战

简介

---

线性回归（Linear Regression）是回归任务中最常见的算法，利用回归方程对自变量和因变量进行建模，且因变量和自变量之间是线性关系而得名，从而可以根据已知数据预测未来数据，如房价预测、PM2.5预测等。

其中，只有一个自变量则称为一元线性回归，包含多个自变量则成为多元线性回归。

如下图，根据已知数据点（蓝色），建模得到红色的回归方程，表示自变量和因变量关系，从而可以输入新的自变量，得到预测值（因变量）。

预测函数定义为：
$$h(w)=w_1{x}_1+w_2{x}_2+\cdot \cdot \cdot +w_d{x}_d+b$$

向量形式为：
$$h(w)={\mathbf{w}}^T\mathbf{x}$$
其中${\mathbf{w}}^T=\begin{array}{c}\left(\begin{array}{c}b\\ w_1\\ \cdot \cdot \cdot \\ w_d\end{array}\right)\end{array},\mathbf{x}=\begin{array}{c}\left(\begin{array}{c}1\\ x_1\\ \cdot \cdot \cdot \\ x_d\end{array}\right)\end{array}$

也就是说我们需要确定$\mathbf{w}$和$b$的值，来构建预测函数。

假设随机初始化$\mathbf{w}$和$b$后，我们得到一个预测函数$h_w$，我们的目标就是希望$h_w$尽可能贴近目标函数。那又要如何评价当前构建出来的模型怎么样，评价两个模型的优劣，并如何向目标函数不断靠近呢？

即使用损失函数和优化算法。

损失函数

---

损失函数就是定义当前函数和目标函数之间的差异，并且我们期望这个差异（损失）越小越好。

使用误差平方和SSE来表示损失，即预测值和真实值差的平方求和，该方法也称为最小二乘法，二乘即平方的意思，求最小的损失。

总损失定义为：
$$J(w)=\frac{1}{2}\sum _{i=1}^m(h_w(x_i)-y_i{)}^2=\frac{1}{2}(\mathbf{xw}-\mathbf{y}{)}^2$$
其中$h_w(x_i)$表示训练样本$i$的预测值，$y_i$是训练样本$i$的真实值。

也就是使下图中黄色长度之和最小。

优化算法

正规方程

---

利用高中知识，求一个函数的最小值，我们可以求导，在导数为0处取得最小值。
这也是为什么损失函数乘以$\frac{1}{2}$，为了求导后可以约掉。

对$\mathbf{w}$求导：
$$\begin{gathered} (\frac{1}{2}(\mathbf{xw}-\mathbf{y}{)}^2{)}^{{}^{\prime }}=0 \\ (\mathbf{xw}-\mathbf{y})\mathbf{x}=0 \\ (\mathbf{xw}-\mathbf{y})(\mathbf{x}{\mathbf{x}}^T)=0 \\ (\mathbf{xw}-\mathbf{y})(\mathbf{x}{\mathbf{x}}^T)(\mathbf{x}{\mathbf{x}}^T{)}^{-1}=0 \\ \mathbf{xw}-\mathbf{y}=0 \\ \mathbf{xw}=\mathbf{y} \\ {\mathbf{x}}^T\mathbf{xw}={\mathbf{x}}^T\mathbf{y} \\ ({\mathbf{x}}^T\mathbf{x}{)}^{-1}({\mathbf{x}}^T\mathbf{x})\mathbf{w}=({\mathbf{x}}^T\mathbf{x}{)}^{-1}{\mathbf{x}}^T\mathbf{y} \\ \mathbf{w}=({\mathbf{x}}^T\mathbf{x}{)}^{-1}{\mathbf{x}}^T\mathbf{y} \end{gathered}$$

一顿操作之后，也就是说如果${\mathbf{x}}^T\mathbf{x}$可逆（是正定矩阵），我们就可以直接求得最小损失对应的$\mathbf{w}$。
但是该方法适合样本特征数比较小的情况，不然矩阵太大了运算也很慢，因为复杂度是O(N³)。

使用numpy和scipy提供的矩阵运算，可以得到代码实现：

def Regres(X, Y):
    x = mat(X)  # 创建矩阵
    y = mat(Y).T  # 处理y为一列
    if linalg.det(x.T * x) == 0.0:  # 不可逆
        return 0
    else:
        return (x.T * x).I * (x.T * y)

梯度下降

---

如果可逆，通过正规方程可以一步到位求得最优模型的参数$\mathbf{w}$。但如果不可逆，就不能使用该方法了。

使用梯度下降可以求得最小的损失值，其主要思想是求偏导按照梯度上升最快的方向进行求解，取其梯度反方向，即梯度下降。

比如三维特征中，其平面图可以像是山峰和谷底，那我们就是要从山峰出发，从最陡（梯度最大）的方向进行下山，从而到达谷底取最小值，但往往可能陷入其它谷底，只取到了极小值，可以修改步长（学习率）。

梯度下降算法内容较多，可见另一篇：浅谈梯度下降算法（模拟退火实战）。

上图摘自网络。

（插播反爬信息 ）博主CSDN地址：https://wzlodq.blog.csdn.net/

项目实战

---

使用波士顿房价数据集，sklearn内置了该