深度学习基础：2.最小二乘法
Posted zstar-_
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习基础：2.最小二乘法相关的知识，希望对你有一定的参考价值。
最小二乘法代数表示方法
假设多元线性方程有如下形式：
f
(
x
)
=
w
1
x
1
+
w
2
x
2
+
.
.
.
+
w
d
x
d
+
b
f(x) = w_1x_1+w_2x_2+...+w_dx_d+b
f(x)=w1x1+w2x2+...+wdxd+b
令
w
=
(
w
1
,
w
2
,
.
.
.
w
d
)
w = (w_1,w_2,...w_d)
w=(w1,w2,...wd)，
x
=
(
x
1
,
x
2
,
.
.
.
x
d
)
x = (x_1,x_2,...x_d)
x=(x1,x2,...xd)，则上式可写为
f
(
x
)
=
w
T
x
+
b
f(x) = w^Tx+b
f(x)=wTx+b
多元线性回归的最小二乘法的代数法表示较为复杂，此处先考虑简单线性回归的最小二乘法表示形式。在简单线性回归中，w只包含一个分量，x也只包含一个分量，我们令此时的
x
i
x_i
xi就是对应的自变量的取值，此时求解过程如下
优化目标可写为
S
S
E
=
∑
i
=
1
m
(
f
(
x
i
)
−
y
i
)
2
=
E
(
w
,
b
)
SSE = \\sum^m_{i=1}(f(x_i)-y_i)^2 = E_(w,b)
SSE=i=1∑m(f(xi)−yi)2=E(w,b)
通过偏导为0求得最终结果的最小二乘法求解过程为：
KaTeX parse error: No such environment: align at position 9: \\begin{̲a̲l̲i̲g̲n̲}̲ \\frac{\\partial…
KaTeX parse error: No such environment: align at position 9: \\begin{̲a̲l̲i̲g̲n̲}̲ \\frac{\\partial…
求得：
w
=
∑
i
=
1
m
y
i
(
x
i
−
x
ˉ
)
∑
i
=
1
m
x
i
2
−
1
m
(
∑
i
=
1
m
x
i
)
2
w = \\frac{\\sum^m_{i=1}y_i(x_i-\\bar{x}) }{\\sum^m_{i=1}x^2_i-\\frac{1}{m}(\\sum^m_{i=1}x_i)^2 }
w=∑i=1mxi2−m1(∑i=1mxi)2∑i=1myi(xi−xˉ)
b = 1 m ∑ i = 1 m ( y i − w x i ) b = \\frac{1}{m}\\sum^m_{i=1}(y_i-wx_i) b=m1i=1∑m(yi−wxi)
#最小二乘法的矩阵表示形式
设多元线性回归方程为：
f
(
x
)
=
w
1
x
1
+
w
2
x
2
+
.
.
.
+
w
d
x
d
+
b
f(x) = w_1x_1+w_2x_2+...+w_dx_d+b
f(x)=w1x1+w2x2+...+wdxd+b
令
w
^
=
(
w
1
,
w
2
,
.
.
.
,
w
d
,
b
)
\\hat w = (w_1,w_2,...,w_d,b)
w^=(w1,w2,...,wd,b)
x ^ = ( x 1 , x 2 , . . . , x d , 1 ) \\hat x = (x_1,x_2,...,x_d,1) x^=(x1,x2,...,xd,1)
则
f
(
x
)
=
w
^
∗
x
^
T
f(x) = \\hat w * \\hat x^T
f(x)=w^∗x^T
有多个y值，则所有x值可以用矩阵X进行表示：
X
=
[
x
11
x
12
.
.
.
x
1
d
1
x
21
x
22
.
.
.
x
2
d
1
.
.
.
.
.
.
.
.
.
.
.
.
1
x
m
1
x
m
2
.
.
.
x
m
d
1
]
X = \\left [\\begin{array}{cccc} x_{11} &x_{12} &... &x_{1d} &1 \\\\ x_{21} &x_{22} &... &x_{2d} &1 \\\\ ... &... &... &... &1 \\\\ x_{m1} &x_{m2} &... &x_{md} &1 \\\\ \\end{array}\\right]
X=⎣⎢⎢⎡x11x21...xm1机器学习理论基础学习2——线性回归