拉格朗日对偶性

Posted 2022-09-29 xcxy-boke

原始问题：

假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数，考虑约束最优化问题：

　　$\undersetx\in R^nminf(x)$

　　$s.t. \ c_i\leq 0,i=1,2,3...k$

　　    $h_j= 0,j=1,2,3...l$

引入拉格朗日函数：

　　$L(x,\alpha ,\beta)=f(x)+\sum_i=1^k \alpha_ic_i(x)+\sum_j=1^l\beta_jh_j(x)$

这里，$\alpha_i,\beta_j$是拉格朗日乘子，$\alpha \geq 0$。则原始问题：

　　$\theta_p(x)=\underset\alpha_i,\beta_j,\alpha_i\geq 0maxL(x,\alpha,\beta)$

如果$c_i,h_j$不满足条件则：

　　$\left\\beginmatrixc_i(x)>0 \Rightarrow  \alpha_ic_i \rightarrow + \infty \\ h_j(x)\neq 0 \Rightarrow  \beta_jh_j \rightarrow  + \infty \endmatrix\right.$

　　$\theta_p(x)=+\infty $

所以：

　　$\theta_p(x)= \left\\beginmatrixf(x),c_i\leq 0,h_j= 0 \\ +\infty ,other \endmatrix\right.$

　　$\undersetxmin\theta_p(x)=\undersetxmin\underset\alpha_i,\beta_j,\alpha_i\geq 0maxL(x,\alpha,\beta)$

原始问题最优解是：

　　$p^*=\undersetxmin\theta_p(x)$

 

对偶问题：

定义：

　　$\theta_D(\alpha,\beta)=\undersetxminL(x,\alpha,\beta)$　　

再考虑极大化$\theta_D(\alpha,\beta)=\undersetxminL(x,\alpha,\beta)$：

　　$\underset\alpha_i,\beta_j,\alpha_i\geq 0max \theta_D(\alpha,\beta)=\underset\alpha_i,\beta_j,\alpha_i\geq 0max \undersetxminL(x,\alpha,\beta)$

这是广义拉格朗日函数的极大极小问题

所以最优解为：

　　$d^*=\underset\alpha_i,\beta_j,\alpha_i\geq 0max\theta_D(\alpha,\beta)$

 

原始问题和对偶问题的关系：

若原始问题和对偶问题都有最优解，则：

　　$d^*=\underset\alpha_i,\beta_j,\alpha_i\geq 0max \undersetxmin \ L(x,\alpha,\beta) \leq \undersetxmin \underset\alpha_i,\beta_j,\alpha_i\geq 0max L(x,\alpha,\beta)=p^*$

证明：

　　$\theta_D(\alpha,\beta)=\undersetxminL(x,\alpha,\beta)\leq L(x,\alpha,\beta)\leq \underset\alpha_i,\beta_j,\alpha_i\geq 0maxL(x,\alpha,\beta)=\theta _p(x)$

即：

　　$\theta_D(\alpha,\beta)\leq \theta _p(x)$

由于原始问题和对偶问题均有最优解，所以：

　　$\underset\alpha_i,\beta_j,\alpha_i\geq 0max\theta_D(\alpha,\beta)\leq \undersetxmin\ \theta _p(x)$

$x^*,\alpha^*,\beta^*$是最优解，如果它们符合KKT条件则$p^*=d^*$：

　　$\triangledown_xL(x^*,\alpha^*,\beta^*)=0$

　　$\triangledown_\alphaL(x^*,\alpha^*,\beta^*)=0$

　　$\triangledown_\betaL(x^*,\alpha^*,\beta^*)=0$

　　$a_i^*c_i(x^*)=0,i=1,2..k$

　　$c_i(x^*)\leq 0,i=1,2..k$

　　$a_i^*\geq 0,i=1,2..k$

　　$h_j(x^*)=0,j=1,2..l$