统计学习方法笔记-感知机
Posted xiaoranone
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了统计学习方法笔记-感知机相关的知识，希望对你有一定的参考价值。
统计学习方法笔记-感知机
感知机是一个二分类的监督模型，我们定义输入空间 x ∈ R n x \\in R^n x∈Rn，每一个x都是用向量表示。输出空间 y = + 1 , − 1 y=\\+1,-1\\ y=+1,−1. 我们希望通过训练数据集合，学的权重参数w和偏置参数b，有:
f ( x ) = s i g n ( w x + b ) f(x) = sign(wx+b) f(x)=sign(wx+b)
sign函数是符号函数，表示如下：
(1) s i g n ( x ) = + 1 , x ≥ 0 − 1 , x < 0 sign(x)=\\begincases +1, x \\geq 0 \\\\ -1, x < 0 \\endcases \\tag1 sign(x)=+1,x≥0−1,x<0(1)
感知机(perceptron)模型的目的就是找打一个超平面 w x + b = 0 wx+b=0 wx+b=0，将所有的训练数据分开，感知机模型要求输入数据线性可分。
学习模型
定义线性可分的数据， T = ( x 1 , y x ) , ( x 2 , y 2 ) . . . , ( x N , y N ) T=\\(x_1,y_x),(x_2,y_2)...,(x_N,y_N) \\ T=(x1,yx),(x2,y2)...,(xN,yN),其中 x i x_i xi是n维的实数向量， y ∈ + 1 , − 1 y\\in \\+1, -1\\ y∈+1,−1,如果找到一个平面 w x + b = 0 wx+b=0 wx+b=0将所有的数据正确分开，就返回这个平面。
对于任何一个机器学习的模型，我们一定要找到一个损失函数，之后优化这个损失函数，最后得到这个算法模型的参数。我们选择损失函数的原则有，一可以表示这个模型的性能，二是能够方便优化。例如对于感知机我们要求最后没有误分类的点，我们可以选择最小化误分类的点，但是这个函数不是凸函数。于是我们选择最小化所有误分类的点到超平面的距离.(损失函数的选择是一个技术活)。点 x 0 x_0 x0到超平面S的距离表示：
(2) 1 ∣ ∣ w ∣ ∣ ∣ w x 0 + b ∣ \\frac1||w|||wx_0+b| \\tag2 ∣∣w∣∣1∣wx0+b∣(2)
对于所有误分类的点 ( x i , y i ) (x_i,y_i) (xi,yi),我们知道有 w x i + b < 0 wx_i+b<0 wxi+b<0,由于 y i ∈ + 1 , − 1 y_i \\in \\+1, -1\\ yi∈+1,−1, 所以对于误分类的点必有： − y i ( w x i + b ) > 0 -y_i(wx_i+b)>0 −yi(wxi+b)>0。因此我们优化最小化所有误分类的点集合M，
(3) m i n w , b L ( w , b ) = − 1 ∣ ∣ w ∣ ∣ ∑ x i ∈ M y i ( w x i + b ) = − ∑ x i ∈ M y i ( w x i + b ) min_w,bL(w,b)=-\\frac1||w||\\sum_x_i \\in My_i(wx_i+b)=-\\sum_x_i \\in My_i(wx_i+b) \\tag3 minw,bL(w,b)=−∣∣w∣∣1xi∈M∑yi(wxi+b)=−xi∈M∑yi(wxi+b)(3)
使用梯度下降方法，我们知道有:
(4) Δ w L ( w , b ) = − ∑ x i ∈ M y i x i \\Delta_wL(w,b)=-\\sum_x_i \\in My_ix_i \\tag4 ΔwL(w,b)=−xi∈M∑yixi(4)
(5) Δ b L ( w , b ) = − ∑ x i ∈ M y i \\Delta_bL(w,b)=-\\sum_x_i \\in My_i \\tag5 ΔbL(w,b)=−xi∈M∑yi(5)
(6) w t + 1 = w t − η Δ w L ( w , b ) w_t+1=w_t-\\eta\\Delta_wL(w,b) \\tag6 wt+1=wt−ηΔwL(w,b)(6)
(7) b t + 1 = b t − η Δ b L ( w , b ) b_t+1=b_t-\\eta\\Delta_bL(w,b) \\tag7 bt+1=bt−ηΔbL(w,b)(7)
其中 η ( 0 < η ≤ 1 ) \\eta(0<\\eta \\leq1) η(0以上是关于统计学习方法笔记-感知机的主要内容，如果未能解决你的问题，请参考以下文章