Support Vector Machine：SMO算法

Posted 2020-10-25 Rhys_Wang

经过上一篇的推导，我们的优化问题已经化为了如下等价形式：

我们在不考虑任何约束条件的情况下去想这个minimize的问题，可以将其抽象为：

SMO算法的思想是，每次迭代，只改变一个参数，而将n-1个参数固定住，循环往复只到达到我们期望。但在SVM的等式条件里，如果将n-1个参数都固定住了，也就相当于将n个参数都固定了，因为二者最终的加和为零，如下式：

So,我们优化两个参数，而固定住n-2个，我们这里选择前两个参数做优化。內积写为了K的形式得出如下等价式，其中将常量略去：

因为：

为了简化说明，我们记：

两侧同时乘以y1,得到：

将α1带回，即可得到α2的二项式：

对其求导置零，并且将下式带入（记为old），

可以得到：

至此，我们将新的α2带回，即可求出α1

循环往复，即可求得原始问题的最佳值。