多项式拟合平方误差怎么求

Posted 2023-05-08

参考技术A 线性模型（二）之多项式拟合
1. 多项式拟合问题
  多项式拟合（polynominal curve fitting）是一种线性模型，模型和拟合参数的关系是线性的。多项式拟合的输入是一维的，即x=xx=x，这是多项式拟合和线性回归问题的主要区别之一。

  多项式拟合的目标是构造输入xx的MM阶多项式函数，使得该多项式能够近似表示输入xx和输出yy的关系，虽然实际上xx和yy的关系并不一定是多项式，但使用足够多的阶数，总是可以逼近表示输入xx和输出yy的关系的。

  多项式拟合问题的输入可以表示如下：

D=(x1,y1),(x2,y2),...,(xi,yi),...,(xN,yN)xi∈Ryi∈R
D=(x1,y1),(x2,y2),...,(xi,yi),...,(xN,yN)xi∈Ryi∈R
  目标输出是得到一个多项式函数：

f(x)=w1x1+w2x2+wixi+...+wMxM+b=(∑i=1Mwixi)+b
f(x)=w1x1+w2x2+wixi+...+wMxM+b=(∑i=1Mwixi)+b
其中MM表示最高阶数为MM。

  可见在线性拟合的模型中，共包括了(M+1)(M+1)个参数，而该模型虽然不是输入xx的线性函数，但却是(M+1)(M+1)个拟合参数的线性函数，所以称多项式拟合为线性模型。对于多项式拟合问题，其实就是要确定这(M+1)(M+1)个参数，这里先假设阶数MM是固定的（MM是一个超参数，可以用验证集来确定MM最优的值，详细的关于MM值确定的问题，后面再讨论），重点就在于如何求出这(M+1)(M+1)个参数的值。

2.优化目标
  多项式拟合是利用多项式函数逼近输入xx和输出yy的函数关系，通过什么指标来衡量某个多项式函数的逼近程度呢？（其实这就是误差/损失函数）。拟合/回归问题常用的评价指标是均方误差（在机器学习中的模型评估与度量博客中，我进行了介绍）。多项式拟合问题也同样采用该评价指标，以均方误差作为误差/损失函数，误差函数越小，模型越好。

E(w,b)=1N∑i=1N[f(xi)−yi]2
E(w,b)=1N∑i=1N[f(xi)−yi]2
  系数1N1N是一常数，对优化结果无影响，可以去除，即将均方误差替换为平方误差：

E(w,b)=∑i=1N[f(xi)−yi]2
E(w,b)=∑i=1N[f(xi)−yi]2

   到这里，就成功把多项式拟合问题变成了最优化问题，优化问题可表示为：
argminw,bE(w,b)
arg⁡minw,b⁡E(w,b)
即需要求得参数w1,...,wM,bw1,...,wM,b的值，使得E(w,b)E(w,b)最小化。那么如何对该最优化问题求解呢？

3. 优化问题求解
3.1 求偏导，联立方程求解
   直观的想法是，直接对所有参数求偏导，令偏导为0，再联立这M+1M+1个方程求解（因为共有M+1M+1个参数，故求偏导后也是得到M+1M+1个方程）。

E(w,b)=∑i=1N[f(xi)−yi]2=∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]2
E(w,b)=∑i=1N[f(xi)−yi]2=∑i=1N[(w1xi1+w2xi2+wixij+...+wMxiM+b)−yi]2
利用E(w,b)E(w,b)对各个参数求偏导，如下：

∂E(w,b)∂wj∂E(w,b)∂b=2∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]xji=2∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]
∂E(w,b)∂wj=2∑i=1N[(w1xi1+w2xi2+wixij+...+wMxiM+b)−yi]xij∂E(w,b)∂b=2∑i=1N[(w1xi1+w2xi2+wixij+...+wMxiM+b)−yi]
求导之后，将各个点(xi,yi)(xi,yi)的值带入偏导公式，联立方程求解即可。

  针对该解法，可以举个例子详细说明，比如有两个点(2,3),(5,8)(2,3),(5,8),需要利用二阶多项式f(x)=w1x+w2x2+bf(x)=w1x+w2x2+b拟合。求解过程如下：

该二阶多项式对参数求偏导得到
∂E(w,b)∂wj∂E(w,b)∂b=2∑i=12[(w1x1i+w2x2i+b)−yi]xji=[(w1x1+w2x21+b)−y1]xj1+[(w1x2+w2x22+b)−y2]xj2=2∑i=12[(w1x1i+w2x2i+b)−yi]=[(w1x1+w2x21+b)−y1]+[(w1x2+w2x22+b)−y2]
∂E(w,b)∂wj=2∑i=12[(w1xi1+w2xi2+b)−yi]xij=[(w1x1+w2x12+b)−y1]x1j+[(w1x2+w2x22+b)−y2]x2j∂E(w,b)∂b=2∑i=12[(w1xi1+w2xi2+b)−yi]=[(w1x1+w2x12+b)−y1]+[(w1x2+w2x22+b)−y2]
将点(2,3),(5,8)(2,3),(5,8)带入方程，可以得到3个方程，
2b+7w1+29w2=117b+29w1+133w2=4629b+133w1+641w2=212
2b+7w1+29w2=117b+29w1+133w2=4629b+133w1+641w2=212
联立这三个方程求解，发现有无穷多的解，只能得到3w1+21w2=53w1+21w2=5，这三个方程是线性相关的，故没有唯一解。

  该方法通过求偏导，再联立方程求解，比较复杂，看着也很不美观。那么有没有更加方便的方法呢？

3.2 最小二乘法
   其实求解该最优化问题（平方和的最小值）一般会采用最小二乘法（其实最小二乘法和求偏导再联立方程求解的方法无本质区别，求偏导也是最小二乘法，只是这里介绍最小二乘的矩阵形式而已）。最小二乘法（least squares），从英文名非常容易想到，该方法就是求解平方和的最小值的方法。

  可以将误差函数以矩阵的表示(NN个点，最高MM阶)为：

∥Xw−y∥2
‖Xw−y‖2
其中，把偏置bb融合到了参数ww中，
w=b,w1,w2,...,wM
w=b,w1,w2,...,wM
XX则表示输入矩阵，

⎡⎣⎢⎢⎢⎢11...1x1x2...xNx21x22...x2N............xM1xM2...xMN⎤⎦⎥⎥⎥⎥
[1x1x12...x1M1x2x22...x2M...............1xNxN2...xNM]
yy则表示标注向量，

y=y1,y2,...,yNT
y=y1,y2,...,yNT
因此，最优化问题可以重新表示为

minw∥Xw−y∥2
minw‖Xw−y‖2
对其求导，

∂∥Xw−y∥2∂w=∂(Xw−y)T(Xw−y)∂w=∂(wTXT−yT)(Xw−y)∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w
∂‖Xw−y‖2∂w=∂(Xw−y)T(Xw−y)∂w=∂(wTXT−yT)(Xw−y)∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w
在继续对其求导之前，需要先补充一些矩阵求导的先验知识（常见的一些矩阵求导公式可以参见转载的博客https://blog.csdn.net/lipengcn/article/details/52815429），如下：

∂xTa∂x=a∂ax∂x=aT∂xTA∂x=Ax+ATx
∂xTa∂x=a∂ax∂x=aT∂xTA∂x=Ax+ATx
根据上面的矩阵求导规则，继续进行损失函数的求导

∂∥Xw−y∥2∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w=XTXw+(XTX)Tw−(yTX)T−XTy=2XTXw−2XTy
∂‖Xw−y‖2∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w=XTXw+(XTX)Tw−(yTX)T−XTy=2XTXw−2XTy
其中XTXw=(XTX)TwXTXw=(XTX)Tw.令求导结果等于0，即可以求导问题的最小值。

2XTXw−2XTy=0w=(XTX)−1XTy
2XTXw−2XTy=0w=(XTX)−1XTy
  再利用最小二乘法的矩阵形式对前面的例子进行求解，用二阶多项式拟合即两个点(2,3),(5,8)(2,3),(5,8)。

表示输入矩阵 XX和标签向量yy
X=[1125425]y=[38]T
X=[1241525]y=[38]T
计算XTXXTX
XTX=⎡⎣⎢272972913329133641⎤⎦⎥
XTX=[272972913329133641]
矩阵求逆，再做矩阵乘法运算
但 XTXXTX不可逆，故无唯一解。

  关于矩阵的逆是否存在，可以通过判断矩阵的行列式是否为0（det(A)=?0det(A)=?0 来判断，也可以通过初等行变换，观察矩阵的行向量是否线性相关，在这个例子下，矩阵不可逆，故有无穷多解。但如果新增一个点(4,7)(4,7)，则就可以解了。

  其实这和数据集的点数和选择的阶数有关，如果点数小于阶数则会出现无穷解的情况，如果点数等于阶数，那么刚好有解可以完全拟合所有数据点，如果点数大于阶数，则会求的近似解。

  那么对于点数小于阶数的情况，如何求解？在python的多项式拟合函数中是可以拟合的，而且效果不错，具体算法不是很了解，可以想办法参考python的ployfit()函数的实现。

4. 拟合阶数的选择
   在前面的推导中，多项式的阶数被固定了，那么实际场景下应该如何选择合适的阶数MM呢？

一般会选择阶数MM小于点数NN
把训练数据分为训练集合验证集，在训练集上，同时用不同的MM值训练多个模型，然后选择在验证集误差最小的阶数<script type="math/tex" id="MathJax-Element-5573">M</script

插值 回归 拟合 逼近的区别

1回归一般指线性回归，是求最小二乘解的过程。在求回归前，已经假设所有型值点同时满足某一曲线方程，计算只要求出该方程的系数

2多项式插值：用一个多项式来近似代替数据列表函数，并要求多项式通过列表函数中给定的数据点。（插值曲线要经过型值点。）

3多项式逼近：为复杂函数寻找近似替代多项式函数，其误差在某种度量意义下最小。（逼近只要求曲线接近型值点，符合型值点趋势。）

4多项式拟合：在插值问题中考虑给定数据点的误差，只要求在用多项式近似代替列表函数时，其误差在某种度量意义下最小。

注意：

表列函数：给定n+1个不同的数据点（x0,y0）,(x1,y1)...,(xn,yn)，称由这组数据表示的函数为表列函数。

逼近函数：求一函数，使得按某一标准，这一函数y=f（x）能最好地反映这一组数据即逼近这一表列函数，这一函数y=f（x）称为逼近函数

插值函数：根据不同的标准，可以给出各种各样的函数，如使要求的函数y=f（x）在以上的n+1个数据点出的函数值与相应数据点的纵坐标相等，即yi=f（x1）（i=0，1，2....n） 这种函数逼近问题称为插值问题，称函数y=f（x）为数据点的插值函数，xi称为插值点。

 

插值和拟合都是函数逼近或者数值逼近的重要组成部分

他们的共同点都是通过已知一些离散点集M上的约束，求取一个定义 在连续集合S(M包含于S)的未知连续函数，从而达到获取整体规律的
目的，即通过"窥几斑"来达到"知全豹"。

简单的讲，所谓拟合是指已知某函数的若干离散函数值{f1,f2,…,fn}，通 过调整该函数中若干待定系数f(λ1, λ2,…,λ3), 使得该函数与已知点集的 差别(最小二乘意义)最小。如果待定函数是线性，就叫线性拟合或者线性回归(主要在统计中)，否则叫作非线性拟合或者非线性回归。表 达式也可以是分段函数，这种情况下叫作样条拟合。

而插值是指已知某函数的在若干离散点上的函数值或者导数信息，通过求解该函数中待定形式的插值函数以及待定系数，使得该函数在给 定离散点上满足约束。插值函数又叫作基函数，如果该基函数定义在整个定义域上，叫作全域基，否则叫作分域基。如果约束条件中只有
函数值的约束，叫作Lagrange插值，否则叫作Hermite插值。从几何意义上将，拟合是给定了空间中的一些点，找到一个已知形式未知参数的连续曲面来最大限度地逼近这些点；而插值是找到一个(或几个分片光滑的)连续曲面来穿过这些点。 

最小二乘意义下的拟合，是要求拟合函数与原始数据的均方误差达到极小，是一种整体意义的逼近，对局部性质没有要求。而所谓“插值”，就是要在原有离散数据之间“插入”一些值，这就要求插值函数必须通过所有的离散点，插值函数在离散点之外的那些点都相当于“插入”的值。插值有全局插值，也有局部插值（比如分段线性插值），插值误差通常考虑的是逐点误差或最大模误差，插值的好坏往往通过某些局部的性质来体现，比如龙格现象或吉布斯振荡。