机器学习---支持向量机(SVM)
Posted yutingliuyl
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习---支持向量机(SVM)相关的知识,希望对你有一定的参考价值。
非常久之前就学了SVM,总认为不就是找到中间那条线嘛,但有些地方模棱两可,真正编程的时候又是一团浆糊。參数任意试验,毫无章法。既然又又一次学到了这一章节,那就要把之前没有搞懂的地方都整明确,嗯~
下面使用到的图片来自上海交大杨旸老师的课件。网址例如以下:http://bcmi.sjtu.edu.cn/~yangyang/ml/
支持向量机就是一种分类方法。仅仅是起的这个名字,看起来非常复杂而已。
中间一条线:分类用的,须要求出系数W , b
支持向量:线性超平面上的点,能够理解为两边的线上的点
要求:中间那条线到两边的线的距离相等。
支持向量(能够想象成那两条线上每条线上的点)的个数<= m +1,m为特征 x 的维数。
目的:找的中间那条线的參数 w 和 b 。
线性SVM
这个图我看了非常久。一直没有搞懂 y 在哪里,依据公式明明就直接求出全部的 x 了啊。难道 y = a ?y = a - b ?
事实上 y 在这里不是坐标轴啦。是分类0,1,2,...,1,-1之类的,坐标轴上全都是 x1,x2,x3,....这种啦
搞清楚这个概念,接下来就非常好理解了:
两条线之间的距离就直接拿 wx1 + b = a 和 wx2 + b = -a 相减就好啦(x1是上边直线上的点。x2是下边直线上的点),至于为神马这样 2r 就刚好是垂直距离,非常easy,两个点坐标相减就是两点之间的向量,膜就是距离。找两个连线与分类直线垂直的点就OK拉。真正用公式推导是这种:
w(x1-x2)=2a
||w|| ||x1-x2|| cos<w, x1-x2> = 2a
||x1-x2|| cos<w, x1-x2> = 2a/||w||
公式左边就是距离啦。
证明的第一问也好理解了,这里的在线上指的是 x1 和 x2 都在 wx + b =0 这条线上,相减刚好就是<w, x1- x2> = 0
解释一下:
理想情况下,全部正样本(y=1)都在 wx + b = a 这条线的上边。全部负样本(y=-1)都在 wx + b = -a 这条线的下边,可是两个公式太麻烦啦。那就把 y 当作正负号乘到前边好啦。刚好把上下两条直线公式改编合成这样: (wx + b)y = a ,这种点是在线上的,可是我们要求正负样本在两側就好啦,所以改 = 为 >=
max 那句就是说只满足下边的公式还不够,我们须要的是两条线中间的距离最大
总之:就是对于随意的点 j 求使得两条线的距离最大的 w 和 b
总是带着 a 不太方便。所以我们把等式两边都除以 a ,就有了新的 w 和 b,无所谓啦,反正都是符号。所以就没改啦。
因为a都变成1了。所以最大化 2a / || w || 倒过来就成了 || w || / 2,也就能够简化为求 w . w = || w || 的最小值了~
非线性SVM
一切看起来进展非常顺利,然而!真实的数据非常有可能出现一些不太友好的点哦。
于是,我们就须要容忍这些错误~
c:tradeoff parameter 事实上就是一个系数
#mistake:错误数。对于每个错误的点都为1,正确点都取0,最后加到一起(公式为了让总错误最小)
c和#mistake都是变量,能够合在一起成为一个的。但不便于理解
#mistake是算出来的,系数C是依据交叉验证得到的——(交叉验证。。不大懂,之后再说咯)
上边这个公式有个缺点:对于不在分类线外側的全都定义为错的(也就是非黑即白,0/1 loss)。没有考虑偏离大小的问题
公式把#mistake改成这样,就相当于对于每个错误的样本都算出其相应的偏离量。这样放在公式里就是全部偏离量加起来最小。
偏离量是算出来的,系数C是依据交叉验证得到的——(交叉验证。。不大懂,之后再说咯)
规范化损失变量
直接套公式吧。
。
hinge loss 我想多解释一下。由于这个样本在它应在的范围(如 >=1 )。那么它事实上是没有损失的,也就是全为0就好,所以也许这个损失函数蛮符合SVM的特点~
多分类问题
方法一:
如上图所看到的——每次把一个类别拿出来,其它类别合成一个大类。当作二分类问题来做。
反复n次就OK
缺点:分类的那条线会偏向训练数据量比較小的那一类
方法二:同一时候求
解释一下公式:
左边是分类在 j 的一个点 xj 乘以它自己的系数,须要满足 w(yj) . xj + b(yj) > = 1
參考方法一,假设这个点用在其它的分类公式中的时候,须要满足 w(y‘) . xj + b(y’) < = 1
所以两个公式放在一起就是: w(yj) . xj + b(yj) > = 1 > = w(y‘) . xj + b(y‘)
至于非要加上的那个1~~我也不知道为神马,莫非是为了和之前的公式看起来差点儿相同?0.0
加上松弛变量和损失变量就变成了这样:
约束优化(Constrained Optimized)
剧透下:下面主要介绍了一种用于解上边那个有关SVM的优化问题方法~(没学过最优化伤不起。得补啊)
首先举个有关求最小值的样例
上图样例说明,b 取不同的值的时候我们得到的最小值是不一样的
第一个图没有约束,第二个图约束没有起到作用,第三个图约束起作用啦
上图说的是拉格朗日对偶:
首先给定初始问题,求满足<= 和 = 那两个条件(这是概括讲的,全部的约束条件都能够转换为这两种形式)。而且 f(w) 取最小值的时候 w 的值
当中 Alpha 和 Beta 是拉格朗日乘数(就是起了个名)
Lemma(引理):
这时候把这些式子加起来。最大也就是 f(w) 了。由于 g h要么小于等于0,要么等于0,而且要求 Alpha(i) > 0。 所以他们总的和 L 不会比 f(w) 再大了~
o/w是otherwise的意思,此时 max L 取值为无穷的解释例如以下:
假设有一个样本不符合限制条件g-i(w) = 0,即存在一个g-i(w) > 0,那么max L(w, alpha, beta) —>无穷。
由于Alpha-i为随意參数。Alpha-i > 0, g-i(w) > 0,当Alpha-i 趋向于无穷的时候。max Alpha-i g-i(w)也趋向于无穷,所以此时的 max L 趋向于无穷~
事实上大括号后边第一行,我们另一个条件也能够合进来。这个条件就是满足 min(w) f(w)。也就是让 L 的最大值 f(w) 最小然后求 w 嘛,就在前边加个min,就是最后一个式子啦
这就是又写了一遍引理,第二个是它的对偶问题,弱对偶和强对偶能够看下图理解下:
就是先求最大再求最小。和先求最小再求最大能不能对上,有没有交点的问题。没有就是弱对偶,有就是强对偶
依据上图我们就能够看出来,事实上找到最优值就是找鞍点(最大or最小,看起来像马鞍的形状,所以那个点就叫鞍点)的过程。
求鞍点。就是求各种一阶导为0,第三个式子是由于之前说了 g 代表 <= 0 那一堆公式,那么取得鞍点的时候,它必须取极值点 = 0,最后两个公式是之前就规定好的~
这五个式子就是KKT条件,假设 w , Alpha , Beta 满足KKT条件,那么它们就是那个引理和它对偶问题的一个解
讲了这么一堆。最终把解法讲好了。然后就要用到我们的SVM上了
经过上边一堆推导,我们最终把 w 和 b 去掉(用x y Alpha 表示)了。仅仅剩下 Alpha 是未知的了~。
于是这就转变为了二次规划问题(这样就非常好解么?木有学过最优化啊。不知道这是神马啊)
到眼下,你仅仅须要知道 w 被那个求和 替代了,SVM有个核是 x‘x 就好
依据KKT条件,有一部分 Alpha 不为0,看图,支持向量就是 Alpha 不为 0 的点
依据我们已知的能够算出来的 w 。依据分类的那条线 wx + b = 0,就能够求出 b, 然后我们就能够測试新数据 z 啦
最优的 w 能够看作是一部分点的一个线性组合,这个稀疏表达能够看作是KNN分类器结构中的数据压缩(没懂,重要么?)
为了计算 Alpha ,我们仅仅须要知道核(kernel,即x‘x)就好啦
測试的时候使用下边的式子(sign表示取符号,可能这个式子在模拟二分类问题,所以仅仅要符号即可了):
下边解释一下核(kernel)的作用
就是把 x 多加一个维度(or 没有添加维度 or 降维),使得原本非线性的问题成为线性的。
在之前的问题中。我们提到过。我们仅仅须要提供x‘x就能够了,所以这里把 x‘x 替换一下。就是带进公式之前先行处理一下,也就是加了那个核运算,那么我们可能会得到更好的结果哦
下边这是几个核的样例:
关于选神马核比較好,编程的时候大胆试吧。。。
我本以为公式已经全了呢额。直到我看到了下边的修改,又对Alpha 加了个最大值C的约束,其它没变~
SMO算法
首先我们来了解一下神马是坐标上升(Coordinate Ascent)
一个无约束优化问题例如以下:
能够使用坐标上升算法来解
这个和梯度下降非常像, 梯度下降是选下降最快的方向。可是坐标上升每次仅仅改变一个维度(变量),而其它维度(变量)不变,例如以下图:
可是当我们遇到了SVM这样的有约束的问题,它的不同之处在于有一个等式(即第三个等式:求和 Alpha . y =0)。因此我们须要定义两个变量。Alpha(i)和Alpha(j)同一时候变,可是Alpha(i)能够用Alpha(j)表示出来,事实上还是能够理解为一个变量哦~~
这时候坐标上升就转换为了SMO算法啦!
下边是解SVM那个式子的SMO算法的核心思想:
后边的课件是证明SMO收敛,数学问题就就不讲了哈。主要就是满足KKT条件吧~~
编程的话,libsvm不错,好像前边的博文有讲到使用方法哦~
假设博文中有不论什么问题,欢迎随时与我联系修正~在此感谢李凡师兄。邵志文同学,朱能军同学对本文存疑的解答^.^
以上是关于机器学习---支持向量机(SVM)的主要内容,如果未能解决你的问题,请参考以下文章