线性可分支持向量机 对偶性形式求解

Posted 2022-11-28 Zetaa

前言：仅个人小记。https://blog.csdn.net/qq_25847123/article/details/108055404给出了原问题的解法。这里给出支持向量机中凸二次规划问题的对偶解法。不论是对偶还是原问题形式，都是转成二次规划问题，编程角度上来看没太大差别。但从理论角度来看，对偶性形式能够直接凸显出“内积”形式，进而可以很好地引入“核”概念。

对偶形式

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i{\mathbf{x}}_j)-\sum _{i=1}^N{\alpha }_i \\ \mathsf{s}.\mathsf{t}.\sum _{i=1}^N{\alpha }_i{y}_i=1 \\ {\alpha }_i\ge 0,i=1,2,...,N \end{gathered}$$
求解出${\alpha }^{\ast }$，进而根据下面结论可以得到原始问题的解
$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i{\mathbf{x}}_j) \end{gathered}$$其中$j$式对应于某一个大于$0$的${\alpha }_j$即可。进而求出了原始问题的解，进而线性可分支持向量机训练完毕。

注意到在对偶最优化问题中，完全可以把内积${\mathbf{x}}_i\cdot {\mathbf{y}}_j,i,j\in [1,N]$提前计算出来。同时观察到，使用对偶形式训练支持向量机的过程中，对于数据集，只是使用到了求内积运算，而不再有任何其他运算。故而，在后面可以将内积概念广义化，进而推出非线性的支持向量机。

也注意到，对偶形式中目标函数的二次部分可以直接提取出二次型矩阵，并将目标函数写作矩阵形式为
$$\left[\begin{array}{cccc}{\alpha }_1& {\alpha }_2& .& {\alpha }_N\end{array}\right](\frac{1}{2}[\begin{array}{cc}{y}_1{y}_1({\mathbf{x}}_1\cdot {\mathbf{x}}_1)& y_1{y}_2({\mathbf{x}}_1\\ y_2{y}_1({\mathbf{x}}_2\cdot {\mathbf{x}}_1)& \\ .& \\ y_N{y}_1({\mathbf{x}}_N\cdot {\mathbf{x}}_1)& \end{array}$$

11支持向量机SVM：线性可分支持向量机

支持向量机的基本原理

支持向量机

ML-8感知机算法-传统和对偶形式

感知机算法-传统和对偶形式