svm算法介绍

Posted 2020-10-28 小舔哥

在一个理想的分类当中，我们想要用一个超平面来将正类样本和负类样本划分开来。这个超平面的方程为 $\\mathbf{w}^T\\mathbf{x}+b=0$ 我们希望这个超平面能够使得划分更加的鲁棒，在图形上表现为超平面正好位于正类样本和负类样本的正中间，运用这种思想，我们引入了svm算法。

为什么正分类大于等于1而不是0

对于超平面$\\mathbf{w}^T\\mathbf{x}+b=0$，

分类为正的样本在平面的一侧，满足$\\mathbf{w}^T\\mathbf{x}_i+b  > 0 , y_i = +1$

分类为负的样本在平面的另一侧，满足为$\\mathbf{w}^T\\mathbf{x}_i+b  < 0 , y_i = -1$

我们总是能够找出一个正数t，无论t是0.001，还是1000或者其它的数字, 使得

分类为正的样本为$\\mathbf{w}^T\\mathbf{x}_i+b  \\geq t , y_i = +1$

分类为负的样本为$\\mathbf{w}^T\\mathbf{x}_i+b  \\leq -t , y_i = -1$

然后我们将式子两边同时除以t，也就是通过缩放变换

分类为正的样本为$\\mathbf{w’}^T\\mathbf{x}_i+b’  \\geq 1, y_i = +1$

分类为负的样本为$\\mathbf{w’}^T\\mathbf{x}_i+b’  \\leq -1 , y_i = -1$

而对于超平面$\\mathbf{w}^T\\mathbf{x}+b=0$， 和$\\mathbf{w’}^T\\mathbf{x}+b’=0$,两者表示的是一个平面。

上面的这些说明解释了一个问题：我们明明知道分类为正的样本是大于等于0，分类为负的样本小于等于0，但是很多推导当中写成了大于等于+1，小于等于-1。 原因是经过了缩放处理。

经过缩放处理以后，我们下面的式子为了方便依然用符号$\\mathbf{w} 和 b 而不是 \\mathbf{w’}、b’$。

假如我们把这个问题再深入思考一点，有两个平面 x+y+z-3=0 和 2x+2y+2z-6=0 表示的是同一个平面，但是代入同一个数字以后，如（2,2,2），得到的结果是不一样的，一个是3，一个是6. 如果按照这样算的话的确是不一样的，但是出现这个的原因是我们的坐标系缩放比例不一样了，前面那个3假如需要和2比较的话能够划分为正类，那么后面的6就需要和4进行比较能够划分为正类。

而我们上面的缩放处理以后，就是把所有得到的结果和1进行比较，并且两个最近的异类点距离超平面的距离之和为$\\frac{2}{\\Vert\\mathbf{w}\\Vert}$，我们的目标函数就是使得这个值最大。 经过一些列处理，我们得到了支持向量最初的优化式子

 

    $\\min \\limits_{\\mathbf{w}, b} \\frac{1}{2}{\\Vert \\mathbf{w} \\Vert}^2 $

    $s.t.  \\  y_i(\\mathbf{w}^T\\mathbf{x}_i+b)  \\geq 1, i=1,2,…,m $

 

 

使用对偶方法和SMO方法进行优化求解

再求解上述的问题的时候，我们要用到一些优化的知识。首先是利用拉格朗日乘子法求它的对偶问题（注：下面不加下标的$\\alpha$均为矢量）

$L(\\mathbf{w},b, {\\alpha}) = \\frac{1}{2} {\\Vert \\mathbf{w} \\Vert}^2 + \\sum \\limits_{i=1}^{m}\\alpha_i (1-y_i(\\mathbf{w}^T \\mathbf{x}_i +b))$

用$L(\\mathbf{w},b, \\mathbf{\\alpha}) $ 对 $\\mathbf{w} 和 b$求偏导，并且为0可以得到：

$\\mathbf{w} = \\sum\\limits_{i=1}^{m} \\alpha_i y_i \\mathbf{x}_i$

$0 = \\sum \\limits_{i=1}^{m}\\alpha_i y_i$

将上面两个式子带入拉格朗日函数，

求出对偶问题的如下：

$\\max \\limits_\\alpha \\sum\\limits_{i=0}^{m} \\alpha _i  - \\frac{1}{2}\\sum\\limits_{i=1}^m\\sum\\limits_{j=1}^m\\alpha_i \\alpha_j y_i y_j \\mathbf{x}_i^T \\mathbf{x}_j $

$s.t. \\sum \\limits_{i=1}^{m}\\alpha_i y_i = 0$

     $\\alpha_i \\geq 0 , i=1,2,3,…,m$

若求得$\\alpha$ 以后，能够求得$\\mathbf{w}和b$,带入可以得到如下结果：

$f(x)=\\mathbf{w}^T \\mathbf{x} +b$

       $=\\sum \\limits_{i=1}^{m}\\alpha_i y_i \\mathbf{x}_i^T x +b$

 

下面是用序列最小优化算法（Sequential minimal optimization, SMO) 来求解其中的$\\alpha$

SMO的思想是这样的，固定$\\alpha_i$之外的其他参数，优化出$\\alpha_i$的值，由于固定除$\\alpha_i$以外的其它变量的时候，根据公式$\\sum \\limits_{i=1}^{m}\\alpha_i y_i = 0$ 可以唯一确定$\\alpha_i$ ，所以我们一次选择两个参数$\\alpha_i$和$\\alpha_j$进行优化，这样就能够求出所有的$\\alpha$

求b的值的时候，可以根据所有支持向量$y_s f(\\mathbf{x}_s)=1$ 这一约束来进行求解。

 

核函数：

  理想情况下，我们的原始空间当中存在一个平面能够将正类和负类进行划分，但是实际情况下很难做到。我们可以寻找一个更高维平面，将数据映射到更高维上面进行划分。 比如在异或问题当中我们没有办法在二维平面上面找到一条直线，在这个时候，我们把数据映射到三维，在三维空间当中能够找到一个平面将数据进行划分。

  所以，当我们对我们的问题重新进行优化的时候，我们想要使用一个函数$\\phi 来将 \\mathbf{x}_i $映射到高维空间。于是上面的对偶问题变为了这样：

$\\max \\limits_\\alpha \\sum\\limits_{i=0}^{m} \\alpha _i  - \\frac{1}{2}\\sum\\limits_{i=1}^m\\sum\\limits_{j=1}^m\\alpha_i \\alpha_j y_i y_j  \\phi{ (\\mathbf{x}_i ) }^T \\phi (\\mathbf{x}_j) $

但是，映射到高维有一个问题，那就是计算量太大了，这个时候我们想要寻找一个函数$\\kappa$在低维上面进行运算，它运算的结果和映射到高维上再进行计算的结果是一样的。即$\\kappa(\\mathbf{x}_i, \\mathbf{x}_j) =\\phi{ (\\mathbf{x}_i ) }^T \\phi (\\mathbf{x}_j) $。幸运的是，我们根据一些条件能够找到这样一些函数，这些函数就是核函数。每一个核函数$\\kappa$也对应着一种映射$\\phi$。

常用的核函数：

线性核        $\\kappa(\\mathbf{x}_i, \\mathbf{x}_j) = \\mathbf{x}_i^T \\mathbf{x}_j$

多项式核     $\\kappa(\\mathbf{x}_i, \\mathbf{x}_j) ={( \\mathbf{x}_i^T \\mathbf{x}_j )}^d$            $d \\geq 1$为多项式的次数

高斯核        $\\kappa(\\mathbf{x}_i, \\mathbf{x}_j)  = \\exp (-\\frac{{\\Vert \\mathbf{x}_i – \\mathbf{x}_j\\Vert}^2}{2 \\sigma ^2})$      $\\sigma >0$为高斯核的带宽（width) 

拉普拉斯核    $\\kappa(\\mathbf{x}_i, \\mathbf{x}_j)  = \\exp (-\\frac{\\Vert \\mathbf{x}_i – \\mathbf{x}_j\\Vert }{2 \\sigma })$      $\\sigma >0$

Sigmoid核    $\\kappa(\\mathbf{x}_i, \\mathbf{x}_j) =  tanh(\\beta \\mathbf{x}_i^T \\mathbf{x}_j + \\theta) $     tanh为双曲正切函数 $\\beta >0 , \\theta <0$

 

其中线性核表示的是不进行变换,$\\mathbf{x}_i^T \\mathbf{x}_j$ 就映射为$\\mathbf{x}_i^T \\mathbf{x}_j$

以二次多项式核为例，我们可以得到它的映射函数：

$\\kappa(\\mathbf{x}, \\mathbf{z}) = (\\mathbf{x}^T\\mathbf{z})^2$

= $\\mathbf{x}^T\\mathbf{z}\\mathbf{x}^T\\mathbf{z}$

= $\\left( \\sum \\limits_{i=1}^{m} x_i z_i  \\right) \\left(\\sum \\limits_{j=1}^{m} x_j z_j\\right)$

= $\\sum \\limits_{i=1}^{m} \\sum \\limits_{j=1}^{m}x_i x_j z_i z_j$

= $\\sum \\limits_{i=1}^{m} \\sum \\limits_{j=1}^{m}(x_i x_j)( z_i z_j)$

= $\\phi(\\mathbf{x})^T \\phi(\\mathbf{z})$

其中$\\phi(\\mathbf{x}) = \\sum \\limits_{i=1}^{m} \\sum \\limits_{j=1}^{m}x_i x_j $

比如一个向量为$(x_1; x_2; x_3)$映射以后变为$(x_1x_1\\ ;x_1x_2\\ ; x_1x_3 \\ ;x_2x_1\\ ;x_2x_2 \\  ;x_2x_3\\ ;x_3x_1\\ ;x_3x_2\\ ;x_3x_3)$   把一个3维的向量映射到9维上面。

幸而我们有了核函数，只需要在3维上面进行计算，而不是映射到9维上面然后再进行计算，这节省了很多的计算量。

 

软间隔和hinge损失

上面所讨论的问题都属于“硬间隔”，也就是把所有的样本都分类正确。 在实际过程当中，我们放宽这条限制，不一定让所有的样本满足$\\  y_i(\\mathbf{w}^T\\mathbf{x}_i+b)  \\geq 1, i=1,2,…,m $  但是我们还是希望这类样本越少越好，于是我们对不满足上面条件的样本进行惩罚，引入损失函数的概念。

我们利用上面的思想来对我们的目标函数进行优化，能够推导出来我们的svm算法其实使用的损失函数叫做hinge损失。这一部分内容在我的博客损失函数 svm和Hinge损失小节里面有介绍。

 

sklean中SVC的参数

我们来看一下sklearn.svm.SVC里面常用的参数

C：惩罚因子。 默认的情况是1.0。 C的值越大，对于误分类的惩罚越大，当C的值为无穷大的时候表示全部正确分类。 C的值越小，对于误分类的惩罚越小。

kernel: 核函数。 可以的取值为 线性核：‘linear’，多项式核：‘poly’，径向基核：‘rbf’，sigmoid核：‘sigmoid’，预定义核：‘precomputed’或者其它的可调用函数。

degree: 度。 多项式核‘poly’的度，默认为3，其它核忽略。

gamma：   ‘rbf’, ‘poly’ and ‘sigmoid’核的参数。如果gamma=‘auto’那么，将会使用1/n_features的值。

coef0：  核函数中的独立项，只在‘poly’ and ‘sigmoid’中有用。

 

参考：

支持向量机（三）核函数

《机器学习》 周志华