《机器学习——数学公式推导合集》1. 线性模型之最小二乘法（least square method）求解线性模型
Posted smile-yan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了《机器学习——数学公式推导合集》1. 线性模型之最小二乘法（least square method）求解线性模型相关的知识，希望对你有一定的参考价值。
1.1 什么是最小二乘法（least square method）
最小二乘法： 基于均方误差最小化来进行模型求解的方法称为 “最小二乘法（least square method）”。
1.2 线性模型（linear model）基本形式
线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即
f
(
x
)
=
w
1
x
1
+
w
2
x
2
+
.
.
.
+
w
d
x
d
+
b
(1.1)
f(\\mathbbx) = w_1x_1 + w_2x_2+...+w_dx_d+b \\tag1.1
f(x)=w1x1+w2x2+...+wdxd+b(1.1)
一般用向量形式写成
f
(
x
)
=
w
T
x
+
b
(1.2)
f(\\mathbbx)=\\mathbfw^\\textT\\mathbfx+b \\tag1.2
f(x)=wTx+b(1.2)
其中
w
=
(
w
1
;
w
2
;
.
.
.
;
w
d
)
\\mathbfw=(w_1;w_2;...;w_d)
w=(w1;w2;...;wd)。
w
\\mathbfw
w 和
b
b
b 学得之后，模型就得以确定。
摘录自《机器学习》周志华 著 清华大学出版社
1.3 公式推导 1
假设第 i i i 个数据 x i x_i xi 对应的真实值为 y i y_i yi，模型的输出值为 f ( x i ) f(x_i) f(xi)，所以我们的目标是使得 f ( x i ) f(x_i) f(xi) 尽可能等于真实值 y i y_i yi，假设训练后 f ( x i ) ≈ y i f(x_i) \\approx y_i f(xi)≈yi 时，对应的参数为 w ∗ w^* w∗、 b ∗ b^* b∗，其中 w ∗ w^* w∗ 代表一组参数（ w 1 , w 2 , . . . , w m w_1,w_2,...,w_m w1,w2,...,wm，其中 m m m 是特征的数目）。
此时 求解目标 可以表示为：
(
w
∗
,
b
∗
)
=
arg min
(
w
,
b
)
∑
i
=
1
m
(
f
(
x
i
)
−
y
i
)
2
=
arg min
(
w
,
b
)
∑
i
=
1
m
(
y
i
−
(
w
x
i
+
b
)
)
2
(1.3)
(w^*,b^*)=\\argmin_(w,b) \\sum_i=1^m(f(x_i)-y_i)^2 \\\\ = \\argmin_(w,b) \\sum_i=1^m(y_i - (wx_i+b))^2 \\tag1.3
(w∗,b∗)=(w,b)argmini=1∑m(f(xi)−yi)2=(w,b)argmini=1∑m(yi−(wxi+b))2(1.3)
即求解当 E ( w , b ) = ∑ i = 1 m ( f ( x i ) − y i ) 2 E_(w, b) = \\sum_i=1^m(f(x_i)-y_i)^2 E(w,b)=∑i=1m(f(xi)−yi)2 取得最小值时参数 w ∗ w^* w∗ 与 b ∗ b^* b∗ 的值。
现在分别对这两参数求偏导，可得
∂
E
(
w
,
b
)
∂
w
=
2
(
w
∑
i
=
1
m
x
i
2
−
∑
i
=
1
m
(
y
i
−
b
)
x
i
)
(1.4)
\\frac\\partial_E_(w,b)\\partial_w=2 \\Bigl( w\\sum_i=1^mx_i^2 - \\sum_i=1^m(y_i-b)x_i \\Bigr) \\tag1.4
∂w∂E(w,b)=2(wi=1∑mxi2−i=1∑m(yi−b)xi)(1.4)
∂
E
(
w
,
b
)
∂
b
=
2
(
m
b
−
∑
i
=
1
m
(
y
i
−
w
x
i
)
)
(1.5)
\\frac\\partial_E_(w,b)\\partial_b=2 \\Bigl( mb - \\sum_i=1^m(y_i-wx_i)\\Bigr) \\tag1.5
∂b∂E(w,b)=2(mb−i=1∑m(
《机器学习——数学公式推导合集》1. 最小二乘法（least square method）求解线性模型