最优化学习 KKT条件(最优解的一阶必要条件)
Posted 风信子的猫Redamancy
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最优化学习 KKT条件(最优解的一阶必要条件)相关的知识，希望对你有一定的参考价值。
KKT条件
全部笔记的汇总贴：最优化学习目录
KKT条件(最优解的一阶必要条件)
∇ f ( x ∗ ) + ∑ i = 1 m λ i ∇ g i ( x ∗ ) + ∑ i = 1 l μ i ∇ h i ( x ∗ ) = 0 \\nabla f\\left(x^*\\right)+\\sum_i=1^m \\lambda_i \\nabla g_i\\left(x^*\\right)+\\sum_i=1^l \\mu_i \\nabla h_i\\left(x^*\\right)=0 ∇f(x∗)+i=1∑mλi∇gi(x∗)+i=1∑lμi∇hi(x∗)=0 λ i ⩾ 0 , i = 1 , … m \\lambda_i \\geqslant 0, \\quad i=1, \\ldots m λi⩾0,i=1,…m g i ( x ∗ ) ⩽ 0 , i = 1 , ⋯ m g_i\\left(x^*\\right) \\leqslant 0, i=1, \\cdots m gi(x∗)⩽0,i=1,⋯m h i ( x ∗ ) = 0 , i = 1 , ⋯ l h_i\\left(x^*\\right)=0, i=1, \\cdots l hi(x∗)=0,i=1,⋯l λ i g i ( x ∗ ) = 0 , i = 1 , … m \\lambda_i g_i\\left(x^*\\right)=0, i=1, \\ldots m λigi(x∗)=0,i=1,…m
Complementary Slackness 互补松弛条件
这里要引入一个Complementary Slackness 互补松弛条件
λ
i
g
i
(
x
∗
)
=
0
,
i
=
1
,
…
m
\\lambda_i g_i\\left(x^*\\right)=0, i=1, \\ldots m
λigi(x∗)=0,i=1,…m
λ
i
>
0
⇒
g
i
(
x
⋆
)
=
0
g
i
(
x
∗
)
<
0
=
>
λ
i
=
0
\\left\\\\beginarrayl\\lambda_i>0 \\Rightarrow g_i\\left(x^\\star\\right)=0 \\\\ g_i\\left(x^*\\right)<0=>\\lambda_i=0\\endarray\\right.
λi>0⇒gi(x⋆)=0gi(x∗)<0=>λi=0
切锥与约束规范
为了证明KKT，这里引入几个定义
最优解的必要条件
若
x
∗
x^*
x∗是问题P的局部最优解
D
(
x
∗
)
∩
T
(
x
∗
)
=
ϕ
D\\left(x^*\\right) \\cap T\\left(x^*\\right)=\\phi
D(x∗)∩T(x∗)=ϕ
D
(
x
∗
)
=
d
∣
∇
f
(
x
∗
)
⊤
d
<
0
\\left.D\\left(x^*\\right)= \\ d \\mid \\nabla f\\left(x^*\\right)^\\top d<0\\right \\
D(x∗)=d∣∇f(x∗)⊤d<0
T
(
x
∗
)
=
α
d
∣
α
>
0
,
d
=
lim
k
→
∞
x
k
−
x
∗
∣
x
k
−
x
∗
∣
T\\left(x^*\\right)=\\left.\\ \\alpha d\\right|\\alpha>0, d=\\lim _k \\rightarrow \\infty \\fracx_k-x^*\\left|x_k-x^*\\right| \\
T(x∗)=αd∣α>0,d=k→∞lim∣xk−x∗∣xk−x∗
线性可行方向集
线性无关约束规范（LICQ）
引用Farkas 引理证明KKT条件
以上是关于最优化学习 KKT条件(最优解的一阶必要条件)的主要内容，如果未能解决你的问题，请参考以下文章