拉格朗日对偶性

Posted 合唱团abc

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了拉格朗日对偶性相关的知识,希望对你有一定的参考价值。

 首先,考虑标准形式的凸最优化问题:

则其拉格朗日函数为:

其中$\\lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子,$\\lambda_i >= 0$,$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。

拉格朗日对偶函数:

下面介绍拉格朗日对偶函数的一个重要性质:

拉格朗日对偶函数构成了原凸最优化问题最优解$p^*$的下界,即对任意的$\\lambda >= 0$ 和$\\nu$,我们有:

但是当$g(\\lambda, v) = -\\infty$时,其意义不大。只有当$g(\\lambda, v) > -\\infty$时,对偶函数才能给出$p^*$的一个非平凡下界,我们称满足$\\lambda >= 0$ 以及

$(\\lambda, v)\\in domg$ 的$(\\lambda, v)$是对偶可行的

从Lagrange函数能够得到的最好下界是什么?也即:

上述问题被称为Lagrange对偶问题。前面描述的对偶可行的一组$(\\lambda, v)$就是对偶问题的一个可行解。如果解$(\\lambda^*, v^*)$是对偶问题的最优解,则称解

$(\\lambda^*, v^*)$是对偶最优解或者最优lagrange乘子。

Lagrange对偶问题是一个凸优化问题,因为极大化的目标函数是凹函数,且约束集合是凸集。因此,对偶问题的凸性和原问题是否是凸优化问题无关

弱对偶性

用$d^*$表示lagrange对偶问题的最优解,由上面的性质可得下面的不等式:

即使原问题不是凸问题上述不等式也成立,这个性质称为弱对偶性

定义差值$p^* - d^*$是原问题的最优对偶间隙。它给出了原问题最优值以及通过Lagrange对偶函数所能得到的最好(最大)下界之间的差值。最优对偶间隙总是非负的。

原问题很难求解时,弱对偶不等式可以给出原问题最优值的一个下界,这是因为对偶问题总是凸问题,而且在很多情况下都可以进行有效的求解得到$d^*$

如果 $d^* = p^*$成立,即最优对偶间隙为零,那么强对偶性成立

如果原问题是凸问题,可以表述为:

 

使得强对偶性成立的一个简单的约束准则Slater条件:存在一点x使得下式成立:

满足上述条件称为严格可行,这是因为不等式约束严格成立。

若Slater条件满足,不但对于凸问题强对偶性成立,也意味着当$d^* > -infty$时对偶问题能够取得最优值,即存在一组对偶可行解$(\\lambda^*, v^*)$,使得

$g(\\lambda^*, v^*) = d^* = p^*$

互补松弛性  => 强对偶性成立时,可推出KKT的对偶互补条件(不是很懂,先不管)

设原问题和对偶问题的最优值都可以达到且相等(即强对偶性成立)。令$x^*$是原问题的最优解,$(\\lambda^*, v^*)$是对偶问题的最优解,这表明:

由上面的推导可以得出一个重要的结论:

实际上,求和项的每一项都非正,因此有:

上述条件称为互补松弛性,它对任意原问题最优解$x^*$都成立(当强对偶性成立时)。

 

 

 

 

http://legend4917.github.io/2015/12/17/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E5%AF%B9%E5%81%B6%E6%80%A7/

 

 

以上是关于拉格朗日对偶性的主要内容,如果未能解决你的问题,请参考以下文章

A-08 拉格朗日对偶性

拉格朗日对偶性

拉格朗日对偶性

拉格朗日对偶性

拉格朗日对偶性

拉格朗日对偶性