SVM学习笔记1-问题定义

Posted Only the Strong Survive

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SVM学习笔记1-问题定义相关的知识,希望对你有一定的参考价值。

问题定义: 给出一些样本,包含两类。svm试图找到一个超平面,将数据分开,并且每种样本到超平面的距离的最小值最大。

输入样本:$\{x_{i},y_{i}| 1\leq i\leq n \}$,$y_{i}\in \{-1,1\}$

超平面定义:$w^{T}x+b=0$

设某一个采样点$x^{(i)}$到超平面的距离为$\gamma^{(i)}$,那么从$x^{(i)}$作方向为w的射线,其与超平面的交点为B,采样点到B的距离为$\gamma^{(i)}$,那么B可以用这样的向量表示$B=x^{(i)}-\gamma^{(i)}\frac{w}{||w||}$。

由于B在超平面上,所以有:$w^{T}(x^{(i)}-\gamma^{(i)}\frac{w}{||w||})+b=0$
我们从中解得$\gamma^{(i)}=(\frac{w}{||w||})^{T}x^{(i)}+\frac{b}{||w||}$。当$y^{(i)}=1$时此值为正数,否则为负数,所以我们将其乘以$y^{(i)}$,那么此时$\gamma^{(i)}=y^{(i)}((\frac{w}{||w||})^{T}x^{(i)}+\frac{b}{||w||})$

现在令$||w||=1$,按照我们问题定义中的描述,我们要解决的问题是这样的:$max_{w,b,\gamma }$ $\gamma$,使得(1)$y^{(i)}(w^{T}x^{(i)}+b)\geq \gamma ,1 \leq i \leq n$,(2)$||w||=1$

由于$||w||=1$的限制不利于求解,所以我们将求解换成如下的描述$max_{w,b,\gamma }$ $\frac {\gamma}{||w||}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq \gamma ,1 \leq i \leq n$。此时$w$的大小可以任意取。

进一步我们令$\gamma=1$,那么现在变为$max_{w,b}$ $\frac {1}{||w||}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$

最后,将求解问题变成$min_{w,b}$ $\frac{1}{2}||w||^{2}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$。

以上是关于SVM学习笔记1-问题定义的主要内容,如果未能解决你的问题,请参考以下文章

机器学习笔记支持向量机(SVM)

深度学习笔记总结(待更新)

SVM学习笔记5-SMO

class-支持向量机SVM全析笔记

学习笔记---安装SVM问题及解决方法

[matlab]机器学习及SVM工具箱学习笔记