最优化学习 KKT条件(最优解的一阶必要条件)

Posted 2021-06-16 Real&Love

KKT条件

• • KKT条件(最优解的一阶必要条件)
  • Complementary Slackness 互补松弛条件
  • 切锥与约束规范
  • 最优解的必要条件
  • 线性可行方向集
  • 线性无关约束规范（LICQ）
  • 引用Farkas 引理证明KKT条件

全部笔记的汇总贴：最优化学习目录

---

KKT条件(最优解的一阶必要条件)

$$\nabla f\left(x^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left(x^{\ast }\right)+\sum _{i=1}^l{\mu }_i\nabla h_i\left(x^{\ast }\right)=0$$$${\lambda }_i⩾0,i=1,\dots m$$$$g_i\left(x^{\ast }\right)⩽0,i=1,\cdots m$$$$h_i\left(x^{\ast }\right)=0,i=1,\cdots l$$$${\lambda }_i{g}_i\left(x^{\ast }\right)=0,i=1,\dots m$$

Complementary Slackness 互补松弛条件

这里要引入一个Complementary Slackness 互补松弛条件
$${\lambda }_i{g}_i\left(x^{\ast }\right)=0,i=1,\dots m$$$$\{\begin{array}{l}{\lambda }_i>0\Rightarrow g_i\left(x^{\star }\right)=0\\ g_i\left(x^{\ast }\right)<0=>{\lambda }_i=0\end{array}$$

切锥与约束规范

为了证明KKT，这里引入几个定义

最优解的必要条件

若$x^{\ast }$是问题P的局部最优解
$$D\left(x^{\ast }\right)\cap T\left(x^{\ast }\right)=\varphi$$ D ( x ∗ ) = { d ∣ ∇ f ( x ∗ ) ⊤ d < 0 } \\left.D\\left(x^{*}\\right)= \\{ d \\mid \\nabla f\\left(x^{*}\\right)^{\\top} d<0\\right \\} D(x∗)={d∣∇f(x∗)⊤d<0} T ( x ∗ ) = { α d ∣ α > 0 , d = lim ⁡ k → ∞ x k − x ∗ ∣ x k − x ∗ ∣ } T\\left(x^{*}\\right)=\\left.\\{ \\alpha d\\right|\\alpha>0, d=\\lim _{k \\rightarrow \\infty} \\frac{x_{k}-x^{*}}{\\left|x_{k}-x^{*}\\right| } \\} T(x∗)={αd∣α>0,d=k→∞lim​∣xk​−x∗∣xk​−x∗​}

线性可行方向集

线性无关约束规范（LICQ）

引用Farkas 引理证明KKT条件