机器学习-第二节：机器学习模型之线性回归

Posted 2022-10-10 快乐江湖

部分参考

• 机器学习算法——线性回归（超级详细且通俗）
• 刘建平博客

文章目录

• 一：线性回归基本概念
• • （1）回归分析
  • （2）线性回归
• 二：线性回归确定参数的方法
• • （1）最小二乘法
  • • A：代数求法
    • B：矩阵求法（主要使用）
  • （2）梯度下降
  • • A：梯度
    • B：梯度下降算法简介
    • C：梯度下降算法代数描述
• 三：线性回归典例之波士顿房价预测
• • （1）波士顿房价数据集
  • （2）手动线性回归
  • （3）scikit-learn实现
  • （4）one-hot编码
  • • A：什么是one-hot编码
    • B：什么情况下会使用one-hot编码
• 四：多项式回归
• • （1）过拟合和欠拟合
  • （2）特征扩展

一：线性回归基本概念

（1）回归分析

回归分析：回归分析是统计学中的基本概念，是指一种预测性的建模技术，主要研究自变量和因变量的关系，通常使用曲线拟合数据点，然后研究如何使曲线到数据点的距离差异最小

（2）线性回归

• 以一元线性回归为例（只有一个未知自变量）

线性回归：假设有$n$组数据，自变量$x(x_1,x_2,...,x_n)$，因变量$y(y_1,y_2,...,y_n)$，并且它们满足$f(x)=ax+b$，那么线性回归的目标就是如何能让$f(x)$和$y$之间的差异最小。其中衡量差异的方式即损失函数有很多种，在线性回归中主要使用均方误差，记$J(a,b)$为$f(x)$和$y$之间的差异，则：

$$J(a,b)=\sum _{i=1}^n(f(x^{(i)})-y^{(i)}{)}^2=\sum _{i=1}^n(a{x}^{(i)}+b-y^{(i)}{)}^2$$

可以发现$J(a,b)$是一个二次函数，所以有最小值，因此当$J(a,b)$取最小值时，$f(x)$和$y$的差异最小，所以关键在于确定$a$和$b$的值，方法有三种

• 最小二乘法
• 梯度下降法
• 正规方程

二：线性回归确定参数的方法

（1）最小二乘法

A：代数求法

• 最小二乘法有代数求解和矩阵求解两种方法

分别关于$a$和$b$对函数$J(a,b)=\sum _{i=1}^n(f(x^{(i)})-y^{(i)}{)}^2=\sum _{i=1}^n(a{x}^{(i)}+b-y^{(i)}{)}^2$求偏导，然后令其为0解出$a$和$b$，解得

$$a=\frac{\sum _{i=1}^n{y}^{(i)}(x^{(i)}-\overline{x})}{\sum _{i=1}^n(x^{(i)}{)}^2-\frac{1}{n}(\sum _{i=1}^n{x}^{(i)}{)}^2}$$

$$b=\frac{1}{n}\sum _{i=1}^n(y^{(i)}-a{x}^{(i)})$$

B：矩阵求法（主要使用）

假设函数$h_{\theta }(x_1,x_2,...,x_n={\theta }_0+{\theta }_1{x}_1+...+{\theta }_{n-1}{x}_{n-1}$的矩阵表达式为

$$h_{\theta }(x)=X\theta$$

• X X X以上是关于机器学习-第二节：机器学习模型之线性回归的主要内容，如果未能解决你的问题，请参考以下文章

  萌新向Python数据分析及数据挖掘 第三章 机器学习常用算法 第二节 线性回归算法 （下）实操篇

  机器学习第二篇单变量线性回归

  斯坦福机器学习课程笔记

  机器学习 之 线性回归 选择题总结

  机器学习 之 线性回归 概念总结速记

  机器学习入门之单变量线性回归（上）——梯度下降法