增广拉格朗日乘子法（Augmented Lagrange Method）

Posted 2020-09-21 hellowOOOrld

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了增广拉格朗日乘子法（Augmented Lagrange Method）相关的知识，希望对你有一定的参考价值。

增广拉格朗日乘子法的作用是用来解决等式约束下的优化问题，

假定需要求解的问题如下：

　　　　minimize　　 f(X)

　　　　s.t.:　　　　　h(X)=0

其中，f:Rⁿ->R; h:Rⁿ->R^m

朴素拉格朗日乘子法的解决方案是：

　　　　L(X,λ)=f(X)+μh(X);　　μ:R^m

　　　　此时，求解L对X和μ的偏导同时为零就可以得到最优解了。

增广拉格朗日乘子法的解决方案是：

　　　　L_c(x,λ)=f(X)+μh(X)+^₁/₂c|h(X)|²

　　　　每次求出一个xi，然后按照梯度更新参数μ，c每次迭代逐渐增大（使用ALM方法好像还有一些假设条件）

　　　　整个流程只需要几步就可以完成了，一直迭代就可得到最优解了。

参考文献：

　　[1]Multiplier and Gradient Methods,1969

　　[2]constrained optimization and lagrange multiplier methods(page 104),1982

Let us say we are solving the following constrained problem:

\\min f({\\mathbf {x}})

subject to

c_{i}({\\mathbf {x}})=0~\\forall i\\in I.

This problem can be solved as a series of unconstrained minimization problems. For reference, we first list the penalty method approach:

\\min \\Phi _{k}({\\mathbf {x}})=f({\\mathbf {x}})+\\mu _{k}~\\sum _{{i\\in I}}~c_{i}({\\mathbf {x}})^{2}

The penalty method solves this problem, then at the next iteration it re-solves the problem using a larger value of $\\mu _{k}$

The augmented Lagrangian method uses the following unconstrained objective:

\\min \\Phi _{k}({\\mathbf {x}})=f({\\mathbf {x}})+{\\frac {\\mu _{k}}{2}}~\\sum _{{i\\in I}}~c_{i}({\\mathbf {x}})^{2}-\\sum _{{i\\in I}}~\\lambda _{i}c_{i}({\\mathbf {x}})

and after each iteration, in addition to updating $\\mu _{k}$

\\lambda _{i}\\leftarrow \\lambda _{i}-\\mu _{k}c_{i}({\\mathbf {x}}_{k})

where ${\\mathbf {x}}_{k}$

The method can be extended to handle inequality constraints. For a discussion of practical improvements, see.^[4]

以上是关于增广拉格朗日乘子法（Augmented Lagrange Method）的主要内容，如果未能解决你的问题，请参考以下文章