SVM 支持向量机算法（Support Vector Machine ）Python机器学习系列（十四）

Posted 2022-09-14 侯小啾

SVM 支持向量机算法（Support Vector Machine ）【Python机器学习系列（十四）】

文章目录

• 1.SVM简介
• 2. SVM 逻辑推导
• • 2.1 Part1 化简限制条件
  • 2.2 Part2 SVM拉格朗日乘子法求解
  • 2.3 Part3 求解超平面
• 3.核函数
• 4. 软间隔支持向量机
• 5. 支持向量回归 SVR
• 6.python实现支持向量机
• • 6.1 方法详解
  • 6.2 案例展示

---

      ʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞ
                 
    ʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞ

---

大家好，我是侯小啾！

 今天分享的内容是支持向量机算法的逻辑，及其python实现。

---

1.SVM简介

在深度学习出现之前，支持向量机 被称为表现最好的算法。支持向量机算法适用于一些复杂数据的分类。现在更多用的是深度学习，深度学习的效果大于SVM。但是SVM作为经典算法，还是十分重要，是学习机器学习过程的必修内容。
 
SVM具有两个特点：1.适合小样本。2.数学逻辑优美。
 
支持向量机算法分为线性可分的支持向量机 和 非线性可分的支持向量机。
 
线性可分样本集：只要我们可以用一条直线可以把样本集的两类完全分开，就可以将其称为线性可分样本集。反之，称为非线性可分样本集。
 
支持向量机的超平面具有唯一性。可以分割样本数据的线（或超平面）存在有无数条，但是只有一条是最好的。找到这条线（或超平面），是支持向量机算法要做的。
 
SVM算法的目标即为：找到使分类间隔最小距离d 最大的超平面。

---

2. SVM 逻辑推导

2.1 Part1 化简限制条件

给定样本数据集，假设样本特征为X，样本标签为y。
每个样本的特征值可以展示为：$x_1$,$x_2$,$x_3$,…$x_n$。y 的取值只能有+1和-1.

欲将这些样本分为二类，则需要找到中间的超平面。该超平面表示为：
 
         ${\omega }^{T}x+b=0$

其中 $\omega$ 称为法向量，其决定了超平面的方向。

点到超平面的距离可以表示为
         $r_i=\frac{|{\omega }^T{x}_i+b|}{||\omega ||}$

这里的$x_i$指的不再是超平面上的点，而是样本点的向量。
 
以二维的情况中点与线的关系为例进行说明，假设有一个点 点A(m,n) 和一条线ax+by+c=0，则当点在线上时，直线的等号会刚好成立。当点分布于直线的两侧时，分别可写作am+bn+c>0，am+bn+c<0。多维情况下，也是同理。
 
再结合点到超平面的距离公式，$r_i$也可以写为：
 
         $r_i=\frac{{\omega }^T{x}_i+b}{||\omega ||}{y}_i$

其中，位于超平面 ${\omega }^T{x}_i+b=0$ 左右的标签对应的y_i的正负不要设定反了，只有设定正确该公式才可以保证得到正值。不然的话保证得到的就会是负值。
 
然后就是要寻找 支持向量。支持向量是距离超平面最近的点的向量，分布在超平面的两边，所以这样的点至少有两个，即支持向量至少有两个。（至少左右各一个）。
 
我们下一步要做的，即：求$r_i$关于$x_i$的极小值，再求该极小值关于$\omega$和$b$的极大值。
 
对该距离公式的分子， ${\omega }^T{x}_i+b$，即超平面的方程 ${\omega }^{T}x+b=0$ 的一部分，考虑到超平立面的方程，就像二维的直线方程一样是可以放缩的（登号两边同乘以一个数），因此可以通过放缩，使得 ${\omega }^T{x}_i+b=1$成立。以此作为限制条件，这样就可以把分母消去了。

该约束条件可表示为
         $r_i=\frac{{\omega }^T{x}_i+b}{||\omega ||}{y}_i\ge \frac{1}{||\omega ||}$

提示：这里的限制条件只用了一个表达式表示，实际上有m个（m也是样本点的个数）。每个样本点对应一个限制条件。
当且仅目标当样本$x_i$为支持向量时，等号成立，取得点到超平面的最小距离$\frac{1}{||\omega ||}$。
 
目标函数，即点到超平面的最小距离$\frac{1}{||\omega ||}$。要使该最小距离最大化，即$||\omega ||$最小，为了后边计算方便，进一步将研究问题及表达式转化为，求$\frac{1}{2}||\omega |{|}^2$关于$\omega$和$b$的最小值。
目标函数即：
 
          $mi{n}_{\omega ,b}\frac{1}{2}||\omega |{|}^2$

进一步，限制条件可再转化为：
         $({\omega }^T{x}_i+b)y_i-1\ge 0$

---

2.2 Part2 SVM拉格朗日乘子法求解

现在我们已经得到了目标函数表达式与限制条件的表达式，可以使用拉格朗日乘子法对其进行求解。
构建拉格朗日函数表达式如下：

    $L(\omega ,b,\lambda )=\frac{1}{2}||\omega |{|}^2+{\sum }_{i=1}^m{\lambda }_i[1-({\omega }^T{x}_i+b)y_i$

R语言使用caret包构建线性核的支持向量机SVM（Support Vector Machines with Linear Kernel ）构建回归模型通过method参数指定算法名称

支持向量机（SVM：support vector machine）

支持向量机(support vector machines, SVM)

机器学习之支持向量机(手推公式版)

机器学习之支持向量机(手推公式版)

支持向量机 SVM (Support Vector Machine)