机器学习-多项式回归算法
Posted 吾仄lo咚锵
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习-多项式回归算法相关的知识，希望对你有一定的参考价值。
文章目录
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。
简介
多项式回归（Polynomial Regression）顾名思义是包含多个自变量的回归算法，也叫多元线性回归，多数时候利用一元线性回归（一条直线）不能很好拟合数据时，就需要用曲线，而多项式回归就是求解这条曲线。
也就是说一元回归方程是
y
=
w
x
+
b
y=wx+b
y=wx+b
而多元回归方程是
y
=
w
n
x
n
+
w
n
−
1
x
n
−
1
+
⋅
⋅
⋅
+
w
1
x
+
w
0
y=w_nx^n+w_n-1x^n-1+···+w_1x+w_0
y=wnxn+wn−1xn−1+⋅⋅⋅+w1x+w0
比如二元就是
y
=
a
x
2
+
b
x
+
c
y=ax^2+bx+c
y=ax2+bx+c，三元就是
y
=
a
x
3
+
b
x
2
+
c
x
+
d
y=ax^3+bx^2+cx+d
y=ax3+bx2+cx+d
但是并不是元数越多越好，可能存在过拟合问题，在最后一节介绍。
一元线性回归可参考另一篇博客：回归-线性回归算法（房价预测项目）
原理
多元线性回归很复杂，特别是当特征数多元数多的时候，可视化难以想象。
用向量矩阵的来表达：
y
=
x
w
\\bold y=\\bold x\\bold w
y=xw
x
=
(
1
x
1
x
1
2
⋯
x
1
n
1
x
2
x
2
2
⋯
x
2
n
⋮
⋮
⋮
⋱
⋮
1
x
k
x
k
2
⋯
x
k
n
)
x=\\beginpmatrix\\beginarrayccccc1& x_1 & x_1^2 &\\cdots& x_1^n\\\\1& x_2 & x_2^2 &\\cdots& x_2^n\\\\ \\vdots & \\vdots & \\vdots&\\ddots & \\vdots\\\\ 1&x_k&x_k^2&\\cdots&x_k^n \\endarray\\endpmatrix
x=⎝⎜⎜⎜⎛11⋮1x1x2⋮xkx12x22⋮xk2⋯⋯⋱⋯x1nx2n⋮xkn⎠⎟⎟⎟⎞，
w
=
(
w
01
w
02
⋯
w
0
k
w
11
w
12
⋯
w
1
k
⋮
⋮
⋱
⋮
w
n
1
w
n
2
⋯
w
n
k
)
\\bold w=\\beginpmatrix\\beginarrayccccw_01 & w_02 &\\cdots& w_0k\\\\w_11 & w_12 &\\cdots& w_1k\\\\ \\vdots & \\vdots&\\ddots & \\vdots\\\\ w_n1&w_n2&\\cdots&w_nk \\endarray\\endpmatrix
w=⎝⎜⎜⎜⎛w01w11⋮wn1w02w12⋮wn2⋯⋯⋱⋯w0kw1k⋮wnk⎠⎟⎟⎟⎞
比如一个特征量二元回归方程：
k
=
1
k=1
k=1，
n
=
2
n=2
n=2：
y
=
(
1
x
1
x
1
2
)
(
w
01
w
11
w
21
)
=
w
01
+
w
11
x
1
+
w
21
x
1
2
y=(\\beginarrayccc1&x_1&x_1^2 \\endarray)\\beginpmatrix w_01\\\\ w_11\\\\w_21\\endpmatrix=w_01+w_11x_1+w_21x_1^2
y=(1x1x12)⎝⎛w01w11w21⎠⎞=w01+w11x机器学习算法总结--线性回归和逻辑回归