拉格朗日对偶性
Posted 合唱团abc
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了拉格朗日对偶性相关的知识,希望对你有一定的参考价值。
首先,考虑标准形式的凸最优化问题:
则其拉格朗日函数为:
其中$\\lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子,$\\lambda_i >= 0$,$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。
拉格朗日对偶函数:
下面介绍拉格朗日对偶函数的一个重要性质:
拉格朗日对偶函数构成了原凸最优化问题最优解$p^*$的下界,即对任意的$\\lambda >= 0$ 和$\\nu$,我们有:
但是当$g(\\lambda, v) = -\\infty$时,其意义不大。只有当$g(\\lambda, v) > -\\infty$时,对偶函数才能给出$p^*$的一个非平凡下界,我们称满足$\\lambda >= 0$ 以及
$(\\lambda, v)\\in domg$ 的$(\\lambda, v)$是对偶可行的。
从Lagrange函数能够得到的最好下界是什么?也即:
上述问题被称为Lagrange对偶问题。前面描述的对偶可行的一组$(\\lambda, v)$就是对偶问题的一个可行解。如果解$(\\lambda^*, v^*)$是对偶问题的最优解,则称解
$(\\lambda^*, v^*)$是对偶最优解或者最优lagrange乘子。
Lagrange对偶问题是一个凸优化问题,因为极大化的目标函数是凹函数,且约束集合是凸集。因此,对偶问题的凸性和原问题是否是凸优化问题无关。
弱对偶性
用$d^*$表示lagrange对偶问题的最优解,由上面的性质可得下面的不等式:
即使原问题不是凸问题上述不等式也成立,这个性质称为弱对偶性。
定义差值$p^* - d^*$是原问题的最优对偶间隙。它给出了原问题最优值以及通过Lagrange对偶函数所能得到的最好(最大)下界之间的差值。最优对偶间隙总是非负的。
但原问题很难求解时,弱对偶不等式可以给出原问题最优值的一个下界,这是因为对偶问题总是凸问题,而且在很多情况下都可以进行有效的求解得到$d^*$
如果 $d^* = p^*$成立,即最优对偶间隙为零,那么强对偶性成立。
如果原问题是凸问题,可以表述为:
使得强对偶性成立的一个简单的约束准则是Slater条件:存在一点x使得下式成立:
满足上述条件称为严格可行,这是因为不等式约束严格成立。
若Slater条件满足,不但对于凸问题强对偶性成立,也意味着当$d^* > -infty$时对偶问题能够取得最优值,即存在一组对偶可行解$(\\lambda^*, v^*)$,使得
$g(\\lambda^*, v^*) = d^* = p^*$
互补松弛性 => 强对偶性成立时,可推出KKT的对偶互补条件(不是很懂,先不管)
设原问题和对偶问题的最优值都可以达到且相等(即强对偶性成立)。令$x^*$是原问题的最优解,$(\\lambda^*, v^*)$是对偶问题的最优解,这表明:
由上面的推导可以得出一个重要的结论:
实际上,求和项的每一项都非正,因此有:
上述条件称为互补松弛性,它对任意原问题最优解$x^*$都成立(当强对偶性成立时)。
http://legend4917.github.io/2015/12/17/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E5%AF%B9%E5%81%B6%E6%80%A7/
以上是关于拉格朗日对偶性的主要内容,如果未能解决你的问题,请参考以下文章