SVM之KKT条件理解

Posted 2022-12-13 lunge-blog

在SVM中，我们的超平面参数最终只与间隔边界上的向量（样本）有关，故称为支持向量机。

求解最优超平面，即求最大化间隔，或最小化间隔的倒数：||w||²/2，约束条件为y_i(w^Tx_i+b)>=1

因为此函数为凸函数（拉格朗日乘子法的前提条件），可用拉格朗日乘子法转化为对偶问题，当满足KKT条件时，对偶问题=原始问题。

关于约束：

1. 目标函数极值点在约束范围内：此时不等式约束失效，问题即退化为无约束优化问题。

这个很好理解，函数只有一个极值点，如果在约束范围内，直接对函数求极值点即可。

2. 目标函数极值点在约束范围外：最优解一定在可行域边界； 且满足在该点处的两个函数的梯度方向相反。

关于这点，很多人从梯度方向去解释，其实有个更简单的解释：反证法，目标函数的极值点在约束范围外，假设最优解不在边界，而在约束范围内，那么这个最优解将是另一个极值点，这与凸的目标函数只有一个极值点矛盾，故最优解必在约束边界。

而所谓KKT条件的形式，即以上2点说明的内涵。