拉格朗日对偶性

Posted 2022-09-22 dannix

拉格朗日对偶性

原始问题：

$\undersetxminf(x)$

$\beginmatrix
s.t. & c_i(x)\leq 0，i=1\sim k \\
 &h_j(x)= 0，j=1\sim l  
\endmatrix$

 

广义拉格朗日函数

$L(x,\alpha ,\beta )=f(x)+\sum_i=1^k\alpha _ic_i(x)+\sum_j=1^l\beta _ih_j(x)$

$\alpha _i\geq 0$

$\alpha _i$和$\beta _i$为拉格朗日乘子；

$\theta _p(x)=\underset\alpha ,\beta ,\alpha _i\geq 0maxL(x,\alpha ,\beta )$

由于$h_j(x)=0$，第三项为0，$c_i(x)\leq 0$

则对于max L

$\left.\beginmatrix
c_i(x)=0\\
c_i(x)< 0,\alpha _i=0
\endmatrix\right\故第二项为0$

则$\theta _p(x)=f(x)$

$\undersetxmin\theta _p(x)=\undersetxmin\underset\alpha ,\beta， \alpha _i\geq 0maxL(x,\alpha ,\beta )$

即为原始问题

 

对偶问题

$\underset\alpha ,\beta, \alpha _i\geq 0max\undersetxminL(x,\alpha ,\beta )$

1、若原始问题和对偶问题都有最优值，则

$max minL=minmaxL$

且最优解同时为$x^*,\alpha ^*,\beta ^*$（有解则解相同）

2、KKT（有解$\Leftrightarrow$满足KKT）

$\beginmatrix
\bigtriangledown _xL(x,\alpha ,\beta )=0\\
\alpha _ic_i(x_i)=0\\
c_i(x_i)\leq 0\\
\alpha _i\geq 0\\
h_j(x)=0
\endmatrix$

第一个条件为偏导等于0；

第二个为原始问题的中间结果；

最后三个为原始约束条件；