KKT 条件 及其 理解

Posted 2020-11-16 szqfreiburger

现在我们对于任意一个优化问题（不一定是凸优化问题）：
egin{split} ext{min}quad & f_{0}(x) ewline ext{subject to:}quad & f_{i}(x)leq 0, i=1,...,m ewline & h_{i}(x)=0, i=1,...,pend{split}
如果所有的出现的函数均为一阶可微函数，并且假设(x^{ast}), ((lambda^{ast}, u^{ast}))分别为（）问题和其对偶问题的最优解，gap 为0，那么我们很自然的有如下的条件：
egin{split}f_{i}(x^{ast})&leq 0, i=1,...m; ewline h_{i}(x^{ast})&=0, i=1,...,p ewline lambda_{i}^{ast}&geq 0, i=1...m ewline lambda_{i}^{ast}f_{i}(x^{ast})&=0, i=1,...m ewline abla f_{0}(x^{ast})+sum_{i=1}^{m}lambda_{i}^{ast} abla f_{i}(x^{ast})+sum_{i=1}^{p} u_{i}^{ast} abla h_{i}(x^{ast})&=0,end{split}

现在我们考虑一下凸优化问题的情况，这个时候，我们也容易得到如下的逆命题成立：

定理 如果对于优化问题（），(f_{i})(i=0,1,...,m) 均为一阶可微凸函数，(h_{i})(i=1,...,p) 均为仿射函数，( ilde{x}in D), ( ilde{lambda}in mathbb{R}^{m}), ( ilde{ u}in mathbb{R}^{p}) 满足KKT 条件：

egin{split}f_{i}( ilde{x})&leq 0, i=1,...m; ewline h_{i}( ilde{x})&=0, i=1,...,p ewline ilde{lambda_{i}}&geq 0, i=1...m ewline ilde{lambda_{i}}f_{i}( ilde{x})&=0, i=1,...m ewline abla f_{0}( ilde{x})+sum_{i=1}^{m} ilde{lambda_{i}} abla f_{i}( ilde{x})+sum_{i=1}^{p} ilde{ u_{i}} abla h_{i}( ilde{x})&=0,end{split}

则( ilde{x}), (( ilde{lambda}, ilde{ u}))分别是原始优化问题，对偶问题的解。

证明：

考察 Lagrange 函数：[L: D imesmathbb{R}^{m} imesmathbb{R}^{p} ightarrow mathbb{R},]
(L(x,lambda, u)=f_{0}(x)+sum_{i=1}^{m}lambda_{i}f_{i}(x)+sum_{i=1}^{p} u_{i}h_{i}(x)).

为方便起见，我们使用之前一样的记号，记：(p^{ast}=inf_{xin D(f,h)}f_{0}), (g( ilde{lambda}, ilde{ u})=inf_{xin D}L(x,lambda, u))。
现在固定(lambda= ilde{lambda}), ( u= ilde{ u}), 由于 ( ilde{lambda_{i}}geq 0), (h_{i}) 是仿射函数，容易知道 (L(x, ilde{lambda}, ilde{ u}))是关于(x)的凸函数，所有这时( abla_{x} L( ilde{x}, ilde{lambda}, ilde{ u})=0) 保证了 (L(x, ilde{lambda}, ilde{ u})) 在(x= ilde{x})除取极小值，所以这时候，对于任意的 (xin D), 我们有：
egin{split}L(x, ilde{lambda}, ilde{ u})&geq L( ilde{x}, ilde{lambda}, ilde{ u}) ewline &=f_{0}( ilde{x})end{split}
注意到由KKT条件，上式中的等号是显然成立的。这时候对上式两边取下确界，对(xin D), 我们自然有：

[g( ilde{lambda}, ilde{ u})geq f_{0}( ilde{x})geq p^{ast}], 但是我们注意到(g( ilde{lambda}, ilde{ u})geq p^{ast}), 由此可知上式两个等号均成立，命题得证明。