SVM中的间隔最大化

Posted 2021-01-16 alesvel

参考链接：

1.https://blog.csdn.net/TaiJi1985/article/details/75087742

2.李航《统计学习方法》7.1节 线性可分支持向量机与硬间隔最大化

3.https://zhuanlan.zhihu.com/p/45444502，第三部分 手推SVM

 

本文目标：理解SVM的原始目标，即间隔最大化，并将其表示为约束最优化问题的转换道理。

背景知识：假设已经知道了分离平面的参数w和b，函数间隔γ‘，几何间隔γ，不懂的可以参考书本及其它。

为了将线性可分的数据集彻底分开，并分得最好，SVM的原始目标是找到一个平面（用w,b表示，二维数据中是一条直线，如下图所示），使得该平面与正负两类样本的最近样本点的距离最大化。简单的说，就是任给一个平面w,b，总有一个样本点离它的距离最近（点到平面的距离，可以用来表示），过该样本点作平行于分割平面的平面，两个平面形成分隔带。我们的目标是比较各种平面（无数个），找出一个平面使得“分隔带最胖”。那么如何来表述“分隔带最胖”呢？

假设对于平面w,b来说，距离平面最近的点是，又由于该平面w,b可以将所有样本点正确分类，即满足，因此我们可以将上述点到平面的距离改写为，其中取值为+1或-1。因此我们的目标就是最大化。

因此最优化