支持向量机之一：约束优化问题硬间隔SVM

Posted 2023-02-13 Hellsegamosken

约束优化问题

带约束的优化问题可以描述为以下形式
$$\begin{array}{rlr}\underset{x}{\min }& f(x)& \\ s.t.& \forall i,g_i(x)\le 0,& \\ & \forall j,h_j(x)=0& \end{array}\text{\hspace{1em}(1.1)}$$

称 $f(x)$ 为目标函数，$g_i(x)$ 为不等式约束，$h_j(x)$ 为等式约束。

若目标函数为二次函数，约束全为线性函数，称为二次规划。

若 $f(x)$ 为凸函数，$g_i(x)$ 为凸函数，$h_j(x)$ 为仿射函数，则该问题称为凸优化。注意这里不等式约束 $g_i(x)\le 0$ 则要求 $g_i(x)$ 为凸函数，若 $g_i(x)\ge 0$ 则要求为凹函数。对于凸优化问题，全局有唯一的极小值点。

构造拉格朗日函数：
$$L(x,\lambda ,\mu )=f(x)+\sum _i{\lambda }_i{g}_i(x)+\sum _j{\mu }_j{h}_j(x)\text{\hspace{1em}(1.2)}$$
原问题等价于：
$$\begin{array}{rl}\underset{x}{\min }& \underset{\lambda ,\mu }{\max }L(x,\lambda ,\mu )\\ s.t.& {\lambda }_i\ge 0\end{array}\text{\hspace{1em}(1.3)}$$
简单理解：如果某个条件不满足，一定可以调整相应的 $\lambda /\mu$ 使得函数值任意大，从而不可能成为最优解；如果所有条件都满足，那么后面两个求和号里的东西都为 0，拉格朗日函数就等于原函数。

这样，我们就把关于 $x$ 的限制给去除掉了。

对于约束优化问题，最优解 $x^{\ast }$ 需要满足 KKT 条件:
$$\{\begin{array}{c}{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0\\ {\lambda }_i^{\ast }\ge 0\\ {\lambda }_i{g}_i(x^{\ast })=0\\ g_i(x^{\ast })\le 0\\ h_j=0\end{array}\text{\hspace{1em}(1.4)}$$
对于凸优化问题，这个条件是充要的。

直观解释是：对于某条不等式约束 $i$，要么 ${\lambda }_i=0$ ，表示该限制无用；要么 ${\lambda }_i>0$，此时有 $g_i(x^{\ast })=0$，即最优解在边界上，同时 $f(x)$ 负梯度方向一定与 $g(x)$ 梯度方向相同，即 ${\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0$ （否则可以沿着 $g_i(x)=0$ 上的某个方向移动使得函数值减小）。梯度为零也意味着最优解处 $f(x)$ 的梯度方向一定与 $h_j(x)=0$ 的法线方向共线。

几何理解见 拉格朗日乘子法和KKT条件 - PilgrimHui - 博客园 (cnblogs.com)

对偶问题

以式 $(1.3)$ 为例，它的对偶问题为
max ⁡ λ , μ   min ⁡ x L ( x , λ , μ ) s . t .   λ i ≥ 0 (2.1) \\tag2.1 \\beginaligned \\max_\\lambda, \\mu\\ &\\min_xL(x, \\lambda, \\mu)\\\\ s.t.\\ &\\lambda_