机器学习---支持向量机(SVM)

Posted yutingliuyl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习---支持向量机(SVM)相关的知识,希望对你有一定的参考价值。

非常久之前就学了SVM,总认为不就是找到中间那条线嘛,但有些地方模棱两可,真正编程的时候又是一团浆糊。參数任意试验,毫无章法。既然又又一次学到了这一章节,那就要把之前没有搞懂的地方都整明确,嗯~


下面使用到的图片来自上海交大杨旸老师的课件。网址例如以下:http://bcmi.sjtu.edu.cn/~yangyang/ml/


支持向量机就是一种分类方法。仅仅是起的这个名字,看起来非常复杂而已。

中间一条线:分类用的,须要求出系数W , b

支持向量:线性超平面上的点,能够理解为两边的线上的点

要求:中间那条线到两边的线的距离相等。

支持向量(能够想象成那两条线上每条线上的点)的个数<= m +1,m为特征 x 的维数。

目的:找的中间那条线的參数 w 和 b 。


线性SVM

技术分享

这个图我看了非常久。一直没有搞懂 y 在哪里,依据公式明明就直接求出全部的 x 了啊。难道 y = a ?y = a - b ?

事实上 y 在这里不是坐标轴啦。是分类0,1,2,...,1,-1之类的,坐标轴上全都是 x1,x2,x3,....这种啦

搞清楚这个概念,接下来就非常好理解了:

两条线之间的距离就直接拿 wx1 + b = a 和  wx2 + b = -a 相减就好啦(x1是上边直线上的点。x2是下边直线上的点),至于为神马这样 2r 就刚好是垂直距离,非常easy,两个点坐标相减就是两点之间的向量,膜就是距离。找两个连线与分类直线垂直的点就OK拉。真正用公式推导是这种:

w(x1-x2)=2a

||w|| ||x1-x2|| cos<w, x1-x2> = 2a

||x1-x2|| cos<w, x1-x2> = 2a/||w||

公式左边就是距离啦。

证明的第一问也好理解了,这里的在线上指的是 x1 和 x2 都在 wx + b =0 这条线上,相减刚好就是<w, x1- x2> = 0

技术分享

解释一下:

理想情况下,全部正样本(y=1)都在 wx + b = a 这条线的上边。全部负样本(y=-1)都在 wx + b = -a 这条线的下边,可是两个公式太麻烦啦。那就把 y 当作正负号乘到前边好啦。刚好把上下两条直线公式改编合成这样: (wx + b)y = a ,这种点是在线上的,可是我们要求正负样本在两側就好啦,所以改 = 为 >=

max 那句就是说只满足下边的公式还不够,我们须要的是两条线中间的距离最大

总之:就是对于随意的点 j 求使得两条线的距离最大的 w 和 b 

技术分享

总是带着 a 不太方便。所以我们把等式两边都除以 a ,就有了新的 w 和 b,无所谓啦,反正都是符号。所以就没改啦。

因为a都变成1了。所以最大化 2a / || w || 倒过来就成了 || w || / 2,也就能够简化为求 w . w = || w || 的最小值了~


非线性SVM

一切看起来进展非常顺利,然而!真实的数据非常有可能出现一些不太友好的点哦。

技术分享

于是,我们就须要容忍这些错误~

技术分享


c:tradeoff parameter 事实上就是一个系数

#mistake:错误数。对于每个错误的点都为1,正确点都取0,最后加到一起(公式为了让总错误最小)

c和#mistake都是变量,能够合在一起成为一个的。但不便于理解

#mistake是算出来的,系数C是依据交叉验证得到的——(交叉验证。。不大懂,之后再说咯)

上边这个公式有个缺点:对于不在分类线外側的全都定义为错的(也就是非黑即白,0/1 loss)。没有考虑偏离大小的问题

技术分享

公式把#mistake改成这样,就相当于对于每个错误的样本都算出其相应的偏离量。这样放在公式里就是全部偏离量加起来最小。

偏离量是算出来的,系数C是依据交叉验证得到的——(交叉验证。。不大懂,之后再说咯)


规范化损失变量

技术分享

直接套公式吧。

hinge loss 我想多解释一下。由于这个样本在它应在的范围(如 >=1 )。那么它事实上是没有损失的,也就是全为0就好,所以也许这个损失函数蛮符合SVM的特点~


多分类问题

技术分享

方法一:

如上图所看到的——每次把一个类别拿出来,其它类别合成一个大类。当作二分类问题来做。

反复n次就OK

缺点:分类的那条线会偏向训练数据量比較小的那一类

技术分享

方法二:同一时候求

解释一下公式:

左边是分类在 j 的一个点 xj 乘以它自己的系数,须要满足 w(yj) . xj + b(yj) > = 1

參考方法一,假设这个点用在其它的分类公式中的时候,须要满足 w(y‘) . xj + b(y’) < = 1

所以两个公式放在一起就是: w(yj) . xj + b(yj) > = 1 > = w(y‘) . xj + b(y‘) 

至于非要加上的那个1~~我也不知道为神马,莫非是为了和之前的公式看起来差点儿相同?0.0


加上松弛变量和损失变量就变成了这样:

技术分享


约束优化(Constrained Optimized)

剧透下:下面主要介绍了一种用于解上边那个有关SVM的优化问题方法~(没学过最优化伤不起。得补啊)

首先举个有关求最小值的样例

技术分享

上图样例说明,b 取不同的值的时候我们得到的最小值是不一样的

第一个图没有约束,第二个图约束没有起到作用,第三个图约束起作用啦

技术分享

上图说的是拉格朗日对偶:

首先给定初始问题,求满足<= 和 = 那两个条件(这是概括讲的,全部的约束条件都能够转换为这两种形式)。而且 f(w) 取最小值的时候 w 的值

当中 Alpha 和 Beta 是拉格朗日乘数(就是起了个名)

Lemma(引理):

这时候把这些式子加起来。最大也就是 f(w) 了。由于 g h要么小于等于0,要么等于0,而且要求 Alpha(i) > 0。  所以他们总的和  L 不会比 f(w)  再大了~

o/w是otherwise的意思,此时 max L 取值为无穷的解释例如以下:

假设有一个样本不符合限制条件g-i(w) = 0,即存在一个g-i(w) > 0,那么max L(w, alpha, beta) —>无穷。

由于Alpha-i为随意參数。Alpha-i > 0, g-i(w) > 0,当Alpha-i 趋向于无穷的时候。max Alpha-i  g-i(w)也趋向于无穷,所以此时的 max L 趋向于无穷~


事实上大括号后边第一行,我们另一个条件也能够合进来。这个条件就是满足 min(w)  f(w)。也就是让 L 的最大值 f(w) 最小然后求 w 嘛,就在前边加个min,就是最后一个式子啦

技术分享


这就是又写了一遍引理,第二个是它的对偶问题,弱对偶和强对偶能够看下图理解下:

技术分享

就是先求最大再求最小。和先求最小再求最大能不能对上,有没有交点的问题。没有就是弱对偶,有就是强对偶

依据上图我们就能够看出来,事实上找到最优值就是找鞍点(最大or最小,看起来像马鞍的形状,所以那个点就叫鞍点)的过程。

技术分享

求鞍点。就是求各种一阶导为0,第三个式子是由于之前说了 g 代表 <= 0 那一堆公式,那么取得鞍点的时候,它必须取极值点 = 0,最后两个公式是之前就规定好的~

这五个式子就是KKT条件,假设 w , Alpha , Beta 满足KKT条件,那么它们就是那个引理和它对偶问题的一个解


讲了这么一堆。最终把解法讲好了。然后就要用到我们的SVM上了

技术分享


技术分享

技术分享

经过上边一堆推导,我们最终把 w 和 b 去掉(用x y Alpha 表示)了。仅仅剩下 Alpha 是未知的了~。

于是这就转变为了二次规划问题(这样就非常好解么?木有学过最优化啊。不知道这是神马啊)

到眼下,你仅仅须要知道 w 被那个求和 替代了,SVM有个核是 x‘x 就好

技术分享

依据KKT条件,有一部分 Alpha 不为0,看图,支持向量就是 Alpha 不为 0 的点

技术分享

依据我们已知的能够算出来的 w 。依据分类的那条线 wx + b = 0,就能够求出 b, 然后我们就能够測试新数据 z 啦 


最优的 w 能够看作是一部分点的一个线性组合,这个稀疏表达能够看作是KNN分类器结构中的数据压缩(没懂,重要么?)

为了计算 Alpha ,我们仅仅须要知道核(kernel,即x‘x)就好啦

測试的时候使用下边的式子(sign表示取符号,可能这个式子在模拟二分类问题,所以仅仅要符号即可了):

技术分享


下边解释一下核(kernel)的作用

技术分享

就是把 x 多加一个维度(or 没有添加维度 or 降维),使得原本非线性的问题成为线性的。

技术分享

在之前的问题中。我们提到过。我们仅仅须要提供x‘x就能够了,所以这里把 x‘x 替换一下。就是带进公式之前先行处理一下,也就是加了那个核运算,那么我们可能会得到更好的结果哦

下边这是几个核的样例:

技术分享

关于选神马核比較好,编程的时候大胆试吧。。。

我本以为公式已经全了呢额。直到我看到了下边的修改,又对Alpha 加了个最大值C的约束,其它没变~

技术分享

技术分享


SMO算法

首先我们来了解一下神马是坐标上升(Coordinate Ascent)

一个无约束优化问题例如以下:

技术分享

能够使用坐标上升算法来解

这个和梯度下降非常像, 梯度下降是选下降最快的方向。可是坐标上升每次仅仅改变一个维度(变量),而其它维度(变量)不变,例如以下图:

技术分享

可是当我们遇到了SVM这样的有约束的问题,它的不同之处在于有一个等式(即第三个等式:求和 Alpha . y =0)。因此我们须要定义两个变量。Alpha(i)和Alpha(j)同一时候变,可是Alpha(i)能够用Alpha(j)表示出来,事实上还是能够理解为一个变量哦~~

这时候坐标上升就转换为了SMO算法啦!

下边是解SVM那个式子的SMO算法的核心思想:

技术分享

后边的课件是证明SMO收敛,数学问题就就不讲了哈。主要就是满足KKT条件吧~~

编程的话,libsvm不错,好像前边的博文有讲到使用方法哦~



假设博文中有不论什么问题,欢迎随时与我联系修正~在此感谢李凡师兄。邵志文同学,朱能军同学对本文存疑的解答^.^

















































以上是关于机器学习---支持向量机(SVM)的主要内容,如果未能解决你的问题,请参考以下文章

机器学习入门之四:机器学习的方法--SVM(支持向量机)(转载)

机器学习-支持向量机SVM

吴恩达机器学习-7-支持向量机SVM

机器学习:支持向量机SVM

机器学习 支持向量机 SVM(上)

支持向量机(SVM)|机器学习