最全面的SVM介绍（从拉格朗日对偶到SMO算法）

Posted 2022-05-27 小白学推荐

  SVM主要用来处理二分类问题，其也可用以用来解决多分类问题与回归问题，只不过不常用。其目标是找到一个最优的分隔平面，来使得不同类别之间的距离最大化。核心思想是将问题转化成凸二次规划求解的问题。

一、拉格朗日对偶变换

  想要搞清楚SVM问题是如何进行转化的，首先就要搞清楚什么是拉格朗日对偶变换，我们这里简要的叙述一下。其核心思想是将求解最优问题转化成为相对容易求解的问题。

原始问题
假设我们研究的优化问题如下：

      $Minimize{f}_0(x)$

   $s.t.f_i(x)\le 0i=1,...,K$
​      $g_j(x)=0j=1,...,L$

同时我们假设满足约束条件的最优解为$x^{\ast }$，$p^{\ast }=f_0(x^{\ast })$

极小极大问题
那么根据拉格朗日函数我们可以构造出：
$$L(x,\alpha ,\beta )=f_0(x)+\sum _{i=1}^K{\alpha }_i{f}_i(x)+\sum _{j=1}^L{\beta }_j{g}_j(x)\alpha \ge 0$$

拉格朗日函数是一个关于$x,\alpha$和$\beta$的函数，其中$x$是原问题的自变量，$\alpha ,\beta$被称为拉格朗日乘子，是标量。

其中$f_0(x)$是原优化问题的目标函数，$f_i(x)$为原优化问题的不等式约束项，$g_i(x)$为原问题的等式约束项。

我们构造函数${\theta }_p(x)$如下：
$${\theta }_p(x)=\underset{\alpha ,\beta }{\max }L(x,\alpha ,\beta )$$

假设存在违反约束条件的样本$x$，即存在某个$i$使得$f_i(x)>0$或者$g_i(x)\ne 0$，如果$f_i(x)>0$，那么我们可以使得${\alpha }_i$的取值为$+\infty$,那么${\theta }_p(x)$的取值也为$+\infty$；如果$g_i(x)\ne 0$，同理我们使得${\beta }_i$为$+\infty$，${\theta }_p(x)$的取值同样为$+\infty$。即：
$${\theta }_p(x)=\underset{\alpha ,\beta }{\max }[f_0(x)+\sum _{i=1}^K{\alpha }_i{f}_i(x)+\sum _{j=1}^L{\beta }_j{g}_j(x)]=+\infty$$
但如果样本$x$满足约束条件，即$f_i(x)\le 0$并且$g_i(x)=0$，那么当${\alpha }_i$的取值为0时，使得${\theta }_p(x)=f_0(x)$，即：
θ p ( x ) = max ⁡ α , β [ f 0 ( x ) + ∑ i = 1 K α i f i ( x ) + ∑ j = 1 L β j g j ( x ) ] = f 0 ( x ) \\theta_p(x)=\\max\\limits_\\alpha,\\beta[f_0(x)+\\sum_i=1^K\\alpha_if_i(x)+\\sum_j=1^L\\beta_jg_j(x)]=f_0(x) θ[笔记]关于支持向量机（SVM）中 SMO算法的学习理论总结

SVM小白教程：拉格朗日对偶

拉格朗日对偶问题的一些介绍

SVM -支持向量机原理详解与实践之二

拉格朗日对偶问题与 KKT 条件

机器学习之支持向量机：SMO算法