SVM中的间隔最大化

Posted alesvel

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SVM中的间隔最大化相关的知识,希望对你有一定的参考价值。

参考链接:

1.https://blog.csdn.net/TaiJi1985/article/details/75087742

2.李航《统计学习方法》7.1节 线性可分支持向量机与硬间隔最大化

3.https://zhuanlan.zhihu.com/p/45444502,第三部分 手推SVM

 

本文目标:理解SVM的原始目标,即间隔最大化,并将其表示为约束最优化问题的转换道理。

背景知识:假设已经知道了分离平面的参数w和b,函数间隔γ‘,几何间隔γ,不懂的可以参考书本及其它。

为了将线性可分的数据集彻底分开,并分得最好,SVM的原始目标是找到一个平面(用w,b表示,二维数据中是一条直线,如下图所示),使得该平面与正负两类样本的最近样本点的距离最大化。简单的说,就是任给一个平面w,b,总有一个样本点离它的距离最近(点到平面的距离,可以用技术分享图片来表示),过该样本点作平行于分割平面的平面,两个平面形成分隔带。我们的目标是比较各种平面(无数个),找出一个平面使得“分隔带最胖”。那么如何来表述“分隔带最胖”呢?

假设对于平面w,b来说,距离平面最近的点是技术分享图片,又由于该平面w,b可以将所有样本点正确分类,即满足技术分享图片,因此我们可以将上述点到平面的距离改写为技术分享图片,其中技术分享图片取值为+1或-1。因此我们的目标就是最大化技术分享图片

因此最优化

 

技术分享图片

 

以上是关于SVM中的间隔最大化的主要内容,如果未能解决你的问题,请参考以下文章

SVM原理

SVM常考细节

线性可分支持向量机与软间隔最大化--SVM

SVM笔记四之线性支持向量机(软间隔最大化)

机器学习SVM面试题:简单介绍一下SVM?支持向量机SVM逻辑回归LR决策树DT的直观对比和理论对比,该如何选择?SVM为什么采用间隔最大化?为什么要将求解SVM的原始问题转换为其对偶问题?

-SVM支持向量机