SMO算法流程

Posted 2023-02-06 Kalzn

SMO 算法流程

python代码见github

问题简介

SMO(Sequential Minimal Optimization)用于解决支持向量机中的对偶问题的最优化求解过程，该问题为：
$$ma{x}_{\mathbf{\alpha }}\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j{K}_{ij}$$
$$s.t.0\le {\alpha }_i\le C,\sum _{i=1}^N{\alpha }_i{y}_i=0$$

而此问题也满足KKT条件要求
$$\{\begin{array}{r}{\alpha }_i\ge 0,{\mu }_i\ge 0\\ y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i\le 0\\ {\alpha }_i(y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i)=0\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}$$

流程

该问题是一种凸二次规划问题，但是如果当作一般情况处理，计算过于繁琐。好在我们可以利用该问题特殊情况，得以特殊处理以简化流程。

SMO算法的核心思想是利用${\sum }_{i=1}^N{\alpha }_i{y}_i=0$这一条件，进行特殊处理。由于一次性确定所有$\alpha$的最优化取值是十分困难，所谓我们不妨每次只考虑变更两个变量${\alpha }_i,{\alpha }_j$，然后唯一确定剩下的变量为${\sum }_{k=1,k\ne i,k\ne j}^N{\alpha }_k{y}_k=-({\alpha }_i{y}_i+{\alpha }_j{y}_j)$。这里为什么选择两个变量，每次只选择一个不应该更容易吗？这里我们要注意，我们是通过迭代的方式每次选取一组$\alpha$的值进行更改。鉴于条件${\sum }_{i=1}^N{\alpha }_i{y}_i=0$，我们是无法对单一$\alpha$进行修改的，换句话说，如果我们更改了一个变量${\alpha }_i$，则必须有另一个变量${\alpha }_j$跟随发生改变以满足${\sum }_{i=1}^N{\alpha }_i{y}_i=0$。

以下，为了表述方便，我们每次选择的变量定为${\alpha }_1,{\alpha }_2$，此时目标函数可以写成：
$$W({\alpha }_1,{\alpha }_2)=$$

ML-9-3支持向量机--SMO算法原理

SVM之SMO算法(转)

基于Python的模拟退火算法SA 以函数极值+TSP问题为例（gif动态展示）

机器学习详解SMO算法剖析（转载）

理解支持向量机SMO算法