曲线拟合的最小二乘原理
Posted 借我十斤肉
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了曲线拟合的最小二乘原理相关的知识，希望对你有一定的参考价值。
1 什么是最小二乘
在科学实验的统计方法研究中，往往要从一组实验数据 ( x i , y i ) ( i = 0 , 1 , 2 , … , m ) (x_i,y_i)(i=0,1,2,…,m) (xi,yi)(i=0,1,2,…,m) 中寻找自变量 x x x 与因变量 y y y 之间的函数关系 y = F ( x ) y=F(x) y=F(x). 由于观测数据往往不准确，因此不要求 y = F ( x ) y=F(x) y=F(x) 经过所有点 ( x i , y i ) (x_i,y_i) (xi,yi)，而只要求在给定点 x i x_i xi 上误差 δ i = F ( x i ) − y i ( i = 0 , 1 , 2 , … , m ) δ_i=F(x_i )-y_i (i=0,1,2,…,m) δi=F(xi)−yi(i=0,1,2,…,m)按某种标准最小。若记 δ = ( δ 0 , δ 1 , … , δ m ) T δ=(δ_0,δ_1,…,δ_m)^T δ=(δ0,δ1,…,δm)T，就是要求向量 δ δ δ 的范数最小，通常采用计算较为简单的欧式范数 ‖ δ ‖ 2 ‖δ‖_2 ‖δ‖2 作为误差衡量的标准。
关于最小二乘的一般提法是：对给定的一组数据
(
x
i
,
y
i
)
(
i
=
0
,
1
,
2
,
…
,
m
)
(x_i,y_i)(i=0,1,2,…,m)
(xi,yi)(i=0,1,2,…,m)，要求在函数类
φ
{
φ
0
,
φ
1
,
…
,
φ
n
}
φ\\{φ_0,φ_1,…,φ_n\\}
φ{φ0,φ1,…,φn}中找到一个函数
y
=
S
∗
(
x
)
y=S^* (x)
y=S∗(x)，使误差平方和最小，即
∥
δ
∥
2
2
=
∑
i
=
0
m
δ
i
2
=
∑
i
=
0
m
[
S
∗
(
x
i
)
−
y
i
]
2
=
m
i
n
S
(
x
)
∈
φ
∑
i
=
0
m
[
S
(
x
i
)
−
y
i
]
2
−
−
−
−
(
F
o
r
m
u
l
a
.
1
)
\\Vert δ \\Vert_2^2=∑_{i=0}^m{δ_i^2}=∑_{i=0}^m[S^* (x_i )-y_i ]^2=min_{S(x)∈φ}∑_{i=0}^m[S(x_i )-y_i ]^2----(Formula.1)
∥δ∥22=i=0∑mδi2=i=0∑m[S∗(xi)−yi]2=minS(x)∈φi=0∑m[S(xi)−yi]2−−−−(Formula.1)
其中，
S
(
x
)
=
a
0
φ
0
(
x
)
+
a
1
φ
1
(
x
)
+
⋯
+
a
1
φ
1
(
x
)
,
(
n
<
m
)
−
−
−
−
(
F
o
r
m
u
l
a
.
2
)
S(x)=a_0 φ_0 (x)+a_1 φ_1 (x)+⋯+a_1 φ_1 (x) ,(n<m)----(Formula.2)
S(x)=a0φ0(x)+a1φ1(x)+⋯+a1φ1(x),(n<m)−−−−(Formula.2)
这就是一般的最小二乘逼近，用几何语言说，就称为曲线拟合的最小二乘法。
2 最小二乘原理
用最小二乘法求拟合曲线时，首先要确定
S
(
x
)
S(x)
S(x) 的形式。这不单纯是数学问题，还与所研究问题的运动规律及所得观测数据
(
x
i
,
y
i
)
(x_i,y_i)
(xi,yi) 有关；通常要从问题的运动规律及给定数据描图，确定
S
(
x
)
S(x)
S(x) 的形式，并通过实际计算选出较好的结果。
S
(
x
)
S(x)
S(x)的一般表达式为
F
o
r
m
u
l
a
.
2
Formula.2
Formula.2 式表示的线性形式。为了使问题的提法更有一般性，通常把最小二乘法中
∥
δ
∥
2
2
\\Vert δ \\Vert_2^2
∥δ∥22都考虑为加权平方和
∥
δ
∥
2
2
=
∑
i
=
0
m
ω
(
x
i
)
[
S
(
x
i
)
−
f
(
x
i
)
]
2
−
−
−
−
(
F
o
r
m
u
l
a
.
3
)
\\Vert δ \\Vert_2^2=\\sum_{i=0}^m\\omega(x_i)\\left[S(x_i)-f(x_i)\\right]^2----(Formula.3)
∥δ∥22=i=0∑mω(xi)[S(xi)−f(xi)]2−−−−(Formu最小二乘法多项式曲线拟合原理与实现（转）