感知机 - 原始形式
Posted windmissing
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了感知机 - 原始形式相关的知识，希望对你有一定的参考价值。
感知机 perceptron
算法类型
二分类算法、线性分类模型、判别模型、监督学习算法
模型
模型是指所要学习的条件概率分布或者决策函数
f ( x ) = s i g n ( w ⋅ x + b ) s i g n ( x ) = + 1 , x ≥ 0 − 1 , x < 0 f(x) = sign(w \\cdot x + b) \\\\ sign(x) = \\begincases +1, && x \\ge 0 \\\\ -1, && x \\lt 0 \\endcases f(x)=sign(w⋅x+b)sign(x)=+1,−1,x≥0x<0
策略
策略是指按照什么样的准则学习或者选择最优的模型。
感知机的损失函数是一个经验风险函数：
L
(
w
,
b
)
=
−
∑
x
i
∈
M
y
i
(
w
⋅
x
i
+
b
)
(1)
L(w, b) = - \\sum_x_i \\in My_i (w \\cdot x_i + b) \\tag 1
L(w,b)=−xi∈M∑yi(w⋅xi+b)(1)
其中M是误分类点的集合
感知机的学习策略是从假设空间中选取使损失函数最小的模型参数w, b
算法
学习模型的具体方法
感知机使用随机梯度下降法
w
n
e
w
=
w
o
l
d
+
η
y
i
x
i
b
n
e
w
=
b
o
l
d
+
η
y
i
(4)
\\begincases w_new = w_old + \\eta y_ix_i \\\\ b_new = b_old + \\eta y_i \\endcases \\tag 4
wnew=wold+ηyixibnew=bold+ηyi(4)
【？】CS229里面说感知机算法没有数学依据
以上是关于感知机 - 原始形式的主要内容，如果未能解决你的问题，请参考以下文章