回归-多项式回归算法

Posted 2022-11-10 吾仄lo咚锵

文章目录

• 简介
• 原理
• 代码
• 过拟合

简介

---

多项式回归（Polynomial Regression）顾名思义是包含多个自变量的回归算法，也叫多元线性回归，多数时候利用一元线性回归（一条直线）不能很好拟合数据时，就需要用曲线，而多项式回归就是求解这条曲线。

也就是说一元回归方程是$y=wx+b$
而多元回归方程是$y=w_n{x}^n+w_{n-1}{x}^{n-1}+\cdot \cdot \cdot +w_{1}x+w_0$
比如二元就是$y=a{x}^2+bx+c$，三元就是$y=a{x}^3+b{x}^2+cx+d$
但是并不是元数越多越好，可能存在过拟合问题，在最后一节介绍。

一元线性回归可参考另一篇博客：回归-线性回归算法（房价预测项目）

原理

---

多元线性回归很复杂，特别是当特征数多元数多的时候，可视化难以想象。
用向量矩阵的来表达：$\mathbf{y}=\mathbf{xw}$
$x=\left(\begin{array}{c}\begin{array}{ccccc}1& x_1& x_1^2& \cdots & x_1^n\\ 1& x_2& x_2^2& \cdots & x_2^n\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_k& x_k^2& \cdots & x_k^n\end{array}\end{array}\right)$，$\mathbf{w}=\left(\begin{array}{c}\begin{array}{cccc}{w}_{01}& w_{02}& \cdots & w_{0k}\\ w_{11}& w_{12}& \cdots & w_{1k}\\ ⋮& ⋮& \ddots & ⋮\\ w_{n1}& w_{n2}& \cdots & w_{nk}\end{array}\end{array}\right)$

比如一个特征量二元回归方程：$k=1$，$n=2$：
$y=(\begin{array}{ccc}1& x_1& x_1^2\end{array})\left(\begin{array}{c}{w}_{01}\\ w_{11}\\ w_{21}\end{array}\right)=w_{01}+w_{11}{x}_1+w_{机器学习-多项式回归算法}$

机器学习多项式回归python实现

机器学习算法总结--线性回归和逻辑回归

机器学习多项式回归

多项式回归

R语言回归分析（regression）常见算法：简单线性回归多项式回归多元线性回归多水平回归多输出回归逻辑回归泊松回归cox比例风险回归时间序列分析非线性回归非参数回归稳健回归等