理解SVM——入门SVM和代码实现

Posted 2021-01-20 xwqfa

这篇博客我们来理解一下SVM。其实，之前好多大牛的博客已经对SVM做了很好的理论描述。例如CSDN上july的那篇三层境界介绍SVM的博文，连接如下：

http://blog.csdn.net/v_july_v/article/details/7624837

那么我这里抛去一些复杂的公式推导，给出一些SVM核心思想，以及用Python实现代码，再加上我自己的理解注释。

 

1. SVM的核心思想

SVM的分类思想本质上和线性回归LR分类方法类似，就是求出一组权重系数，在线性表示之后可以分类。我们先使用一组trainging set来训练SVM中的权重系数，然后可以对testingset进行分类。

说的更加更大上一些：SVM就是先训练出一个分割超平面separation hyperplane, 然后该平面就是分类的决策边界，分在平面两边的就是两类。显然，经典的SVM算法只适用于两类分类问题，当然，经过改进之后，SVM也可以适用于多类分类问题。

我们希望找到离分隔超平面最近的点，确保它们离分隔面的距离尽可能远。这里点到分隔面的距离被称为间隔margin. 我们希望这个margin尽可能的大。支持向量support vector就是离分隔超平面最近的那些点，我们要最大化支持向量到分隔面的距离。

那么为了达到上面的目的，我们就要解决这样的一个问题：如何计算一个点到分隔面的距离？这里我们可以借鉴几何学中点到直线的距离，需要变动的是我们这里是点到超平面的距离。具体转换过程如下：

 

除了定义距离之外，我们还需要设定两类数据的类别标记分别为1和-1，这样做是因为我们将标记y和距离相乘，不管属于哪一类，乘积都是一个正数，这样有利于我们设计目标函数。

这样我们便可以定义我们SVM的目标函数：

 

http://www.xinli001.com/info/100413207