2-3 感知机梯度下降法的推导过程
Posted windmissing
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2-3 感知机梯度下降法的推导过程相关的知识，希望对你有一定的参考价值。
感知机的损失函数：
L
(
w
,
b
)
=
−
∑
x
i
∈
M
y
i
(
w
⋅
x
i
+
b
)
(1)
L(w, b) = - \\sum_x_i \\in My_i (w \\cdot x_i + b) \\tag 1
L(w,b)=−xi∈M∑yi(w⋅xi+b)(1)
目标是最小化这个损失函数。
使用梯度下降法求出
L
(
w
,
b
)
L(w,b)
L(w,b)$的偏导，使w,b向导数的负方向移动。
∇
w
L
(
w
,
b
)
=
−
∑
x
i
∈
M
y
i
x
i
∇
b
L
(
w
,
b
)
=
−
∑
x
i
∈
M
y
i
(2)
\\begincases \\nabla_wL(w,b) = - \\sum_x_i \\in My_ix_i \\\\ \\nabla_bL(w,b) = - \\sum_x_i \\in My_i \\endcases \\tag 2
∇wL(w,b)=−∑xi∈Myixi∇bL(w,b)=−∑xi∈Myi(2)
其中M是错误分类点的集合
由于perceptron使用随机梯度下降法，一次只基于一个点来调整w,b。
假设当前选择的误分类点是
(
x
i
,
y
i
)
(x_i, y_i)
(xi,yi)
，
那
就
相
当
集
合
M
中
只
有
，那就相当集合M中只有
，那就相当集合M中只有
(
x
i
,
y
i
)
(x_i, y_i)
(xi,yi)$这一个点，偏导公式（2）可简化为
∇
w
L
(
w
,
b
)
=
−
y
i
x
i
∇
b
L
(
w
,
b
)
=
−
y
i
(3)
\\begincases \\nabla_wL(w,b) = - y_ix_i \\\\ \\nabla_bL(w,b) = - y_i \\endcases \\tag 3
∇wL(w,b)=−yixi∇bL(w,b)=−yi(3)
令(w,b)向导数的负方向移动，学习率为
η
\\eta
η$，得到
w
n
e
w
=
w
o
l
d
+
η
y
i
x
i
b
n
e
w
=
b
o
l
d
+
η
y
i
(4)
\\begincases w_new = w_old + \\eta y_ix_i \\\\ b_new = b_old + \\eta y_i \\endcases \\tag 4
wnew=wold+ηyixibnew=bold+ηyi(4)
以上是关于2-3 感知机梯度下降法的推导过程的主要内容，如果未能解决你的问题，请参考以下文章