感知机 - 对偶形式
Posted windmissing
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了感知机 - 对偶形式相关的知识，希望对你有一定的参考价值。
感知机 - 对偶形式
对偶形式的基本思想：
将w和b表示为样本（书中术语为实例）
x
i
x_i
xi
和
标
记
和标记
和标记
y
i
y_i
yi的线性组合形式，通过求解其系数而求得w和b
但变形之后的感知机就从参数学习算法变成了非参数学习算法。因为它的算法模型中还要用到训练数据集X和y
模型
f
(
x
)
=
s
i
g
n
(
∑
j
=
1
m
a
j
y
j
x
j
⋅
x
+
b
)
s
i
g
n
(
x
)
=
+
1
,
x
≥
0
−
1
,
x
<
0
f(x) = sign(\\sum_j=1^m a_jy_jx_j \\cdot x + b) \\\\ sign(x) = \\begincases +1, && x \\ge 0 \\\\ -1, && x \\lt 0 \\endcases
f(x)=sign(j=1∑majyjxj⋅x+b)sign(x)=+1,−1,x≥0x<0
其中，m为样本数，n为样本的特征数
策略
感知机的损失函数是一个经验风险函数：
L
(
w
,
b
)
=
−
∑
x
i
∈
M
y
i
(
∑
j
=
1
m
a
j
y
j
x
j
⋅
x
i
+
b
)
L(w, b) = - \\sum_x_i \\in My_i (\\sum_j=1^m a_jy_jx_j \\cdot x_i + b)
L(w,b)=−xi∈M∑yi(j=1∑majyjxj⋅xi+b)
其中M是误分类点的集合
感知机的学习策略是从假设空间中选取使损失函数最小的模型参数a, b
算法
学习模型的具体方法
感知机对偶形式使用随机梯度下降法
a
n
e
w
=
a
o
l
d
+
η
b
n
e
w
=
b
o
l
d
+
η
y
i
(4)
\\begincases a_new = a_old + \\eta \\\\ b_new = b_old + \\eta y_i \\endcases \\tag 4
anew=aold+ηbnew=bold+ηyi(4)
以上是关于感知机 - 对偶形式的主要内容，如果未能解决你的问题，请参考以下文章