拉格朗日乘子法

Posted 2020-09-13 夕月一弯

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了拉格朗日乘子法相关的知识，希望对你有一定的参考价值。

拉格朗日乘数法（Lagrange multiplier）有很直观的几何意义。
举个2维的例子来说明：
假设有自变量x和y，给定约束条件g(x,y)=c，要求f(x,y)在约束g下的极值。

我们可以画出f的等高线图，如下图。此时，约束g=c由于只有一个自由度，因此也是图中的一条曲线（红色曲线所示）。显然地，当约束曲线g=c与某一条等高线f=d1相切时，函数f取得极值。
两曲线相切等价于两曲线在切点处拥有共线的法向量。因此可得函数f(x,y)与g(x,y)在切点处的梯度（gradient）成正比。
于是我们便可以列出方程组求解切点的坐标(x,y)，进而得到函数f的极值。

想法就是：

能够碰到极大极小值点的必要条件是：

梯度场与切空间垂直，也就是梯度场不能够有任何流形切空间上的分量，否则在切空间方向有分量，在流形上沿分量方向走，函数值会增加，沿反方向走，函数值会减少，不可能为局部极小或者极大值点。

一.
一个基本的例子：

假设你生活在三维欧氏空间中，z方向的坐标数值上代表海拔高度。
$f(x,y,z)=z$

如果你会飞，那么anyway，你想飞多高飞多高，所以你的海拔可以任意高也可以任意小，根本就没有最大值。

假定你是一个普通人类，你在一座山 $M$ 上，你的目标是爬到山顶，也就是说你希望自己的海拔足够高：

当你真正到达山腰时，很容易“只缘身在此山中，不识此山真面目”，这时候如何判断是真的在往上爬呢，还是在往下走呢？

在肉眼所能看见的小范围内，你可以通过周边的局部地形来判断，假设它大概是这样：

你就知道应该往高处（大概为红箭头方向）走，而不是绿箭头方向。
当然不一定一直沿这个方向直线式上升，可能还需要走到某个地方，再次做一下这种局部的考察，调整一下方向，保证自己能向高处走。

不过，什么是“高”的一边？这个概念究竟是如何形成的？

我们知道，海拔 $f(x,y,z)=z$ ，我们希望能够找到山面上的海拔最高点（山顶）。
梯度 $\\nabla f=(0,0,1)$

关于梯度一个很自然的结论就是：
沿梯度方向是f增长最快的方向，反方向是下降最快的方向。

所以直观上沿与梯度方向成锐角的方向移动，那么f的值应该会增加。

而在山面上，我们可以通过天空来确定梯度方向（ $\\nabla f=(0,0,1)$ 当然指向高高的天空啦）
与垂直向上方向成锐角的方向的地形，也就是“高”的一边。

（可以见到，红色的角是锐角，所以沿此方向海拔上升，绿色的角是钝角，所以沿此方向海拔下降）

所有我们可以移动的方向，叫做这一点的切空间。

那么，什么时候才能知道我们到达了山顶呢？

P点为山顶，那么在这一点，切空间上任何一个方向与梯度方向（红色箭头）的夹角都不可以是锐角，
否则我们沿那个方向爬，就会上升到更高点。

所以切空间只能够与梯度方向垂直。

利用流形本身的信息，我们可以得到切空间的方程，从而确定与切空间垂直的所有方向（这种方向叫做法向）。
利用函数本身的信息，我们可以得到梯度场的方向

梯度场方向与切空间垂直，所以梯度场可以表成一些的特定的法向的线性组合,
系数记为 $\\lambda_1,\\hdots,\\lambda_k$

即 $\\nabla f \\in (T_pM)^{\\bot }$ ,这就是Laplace乘子法的思想

二.一般形式

给一组约束条件 $F(x)=0$ , $F=(F_1,\\hdots,F_k)$
（经常加一些好的条件比如说 $F$ 的jacobi矩阵满秩,这些条件都是为了让M确实是一个流形，见正则值定理)
那么流形（约束条件下的所有点）为
$M=\\{ x\\in \\mathbb R^n |F(x)=0 \\}$

p如果为 $f$ 的局部极大值或者局部极小值，
那么 $\\nabla f \\in (T_pM)^{\\bot }$

$M=\\{ x\\in \\mathbb R^n |F(x)=0 \\}$ ,故法向量由 $\\nabla F_1 ,\\nabla F_2,\\hdots$ 张成
所以存在一组系数 $\\lambda_1,\\hdots,\\lambda_k$
使得
$\\nabla f =\\lambda_1 \\nabla F_1+\\hdots$

这就是乘子方程。

（PS:

由于连续可导函数取极值的时候，每个自变量的偏导数都为0（否则微调这个自变量就可以得到更大的值），因此拉格朗日函数取极值的时候，λ的偏导数也为0，而λ的偏导数恰好为引入的条件约束，而当条件约束等于0时，拉格朗日函数的值也恰好等于原函数的值，我们就可以很容易证明原函数在条件约束下取极值，与拉格朗日函数取极值是等价的。

）

所以本质上就是最开始说的：
能够碰到极大极小值点的必要条件是：
梯度场与切空间垂直，也就是梯度场不能够有任何流形切空间上的分量，否则在切空间方向有分量，在流形上沿分量方向走，函数值会增加，沿反方向走，函数值会减少，不可能为局部极小或者极大值点。

利用流形本身的信息，我们可以得到切空间的方程，从而确定法向。
利用函数本身的信息，我们可以得到梯度场的方向
梯度场方向与切空间垂直，所以梯度场可以表成一些的特定的法向（比如说一组基法向）的线性组合
用这两个信息把上面那句话用方程的形式写出来就好了

后记:

1.这种乘子法只考虑了第一变分（梯度），事实上极大极小值还可以用Hessian矩阵进行二阶刻画，所谓第二变分

2.这种找法只能够找局部极值点，如果要寻找鞍点，就是这样的点：

这种方法完全失效，不过一般情况下我们只关心极大极小值点。

对于鞍点的寻找，我们有Moutain Pass Lemma，或者更一般的，我们可以采用min-max原理的推理，能够从极值点出发找到可能鞍点。

3.
我们只考虑假定流形M上比较好的函数，所有上述方法都可以内蕴地在流形上建立起来。
对于一般的关于临界点即 $\\nabla f =0$ 的点的理论，可以反馈流形自身的拓扑信息。
比如说著名的Reeb定理是在说：

考虑一个紧无边光滑流形M，如果M上存在一个光滑函数，它只有最大值和最小值两个极值点，并且这两点的Hessian矩阵均可逆，那么M就会拓扑同胚于单位球面

（微分同胚是不一定的，见Minlor的7维怪球）

所有临界点均不退化(即Hessian矩阵非退化)的光滑函数f叫做Morse函数，对于Morse函数f,
我们有

$\\sum_{}^{}{(-1)^{ind(p)}} =\\chi (M)$ ,M是一个光滑紧无边流形，右边是M的欧拉示性数，左边跑遍f的所有临界点，ind表示临界点的指标。
$c_i \\geq b_i$ ,即f的指标为i的临界点至少有 $b_i$ 个， $b_i$ 是M的第i阶De rham上同调群的维数。

作为一个应用，可以得到

环面上任何一个Morse函数，至少有四个临界点。

为什么出现拉格朗日乘子法？

最短路径问题
从几何意义中获得灵感：
从数学公式中获得灵感
推广到高维空间

------------------------------------------------------

一个最短路径问题

假设你在M点，需要先到河边（上图右侧曲线）再回到C点，如何规划路线最短？

假设：
河流曲线满足方程 g(x,y) = 0 （例如如果它是一个圆： $g(x,y) = x2 + y2 - r2 = 0$ ）
用P表示河边上的任意P(x,y)点，
用d(M,P)表示M,P之间距离，
那么问题可以描述为： $max \\, f(P) = d(M,P) + d(P, C)$ , 约束于 $g(P) = 0.$

如何求解问题？

1. 从几何意义中获得灵感：

首先，f(P)是一个标量（只有大小没有方向），那么在上图的二维空间中必然存在了一个标量场f(P)，即对于每一个点P都对应着一个f(P)值，它代表经过该点的路径总和是多少。
如果我们画出它的等值线（场线)，就会发现它呈椭圆向外辐射：

显然，f(P)的等值线与河边曲线的交点P即为我们想求的点。

那么问题来了: 这样的点满足何种性质？（如果没有性质也就无法列出关系式进行求解，但是这么特殊的点极有可能存在良好某种特性）

最直观的性质：等值线（椭圆）在P点的法向量n与河边曲线的法向量m平行：
$\\bm{n} = \\lambda \\, \\bm{m}$

而在多元微积分中，一个函数h在某一点P的梯度是点P所在等值线（二维）或等值面（三维）的法向量，即 $\\bm{n} = \\nabla h( \\bm{P} )$ ，所以对于函数 f , g ：（注意梯度是一个向量，准备在另一个问题中对梯度的概念做详细阐述）
$\\bm{n} = \\lambda \\, \\bm{m} \\Rightarrow \\nabla f( \\bm{P} ) = \\lambda \\, \\nabla g( \\bm{P} ) \\Rightarrow \\begin{pmatrix} f_{x}\\\\ f_{y} \\end{pmatrix} = \\lambda \\begin{pmatrix} g_{x}\\\\ g_{y} \\end{pmatrix} \\Rightarrow f_{x} = \\lambda g_{x} \\; (1) \\\\ f_{y} = \\lambda g_{y} \\; (2)$

即由相交点的性质我们得到了2个关系式（因为是二维平面，对于三维则可以得到三个关系式，以此类推），

再加上我们的约束条件： $g(\\bm P) = g(x,y) = 0 \\; (3)$

一共3个关系式，由线性代数中知识可知 3个关系式，3个未知量（ $x,y, \\lambda$ ）极有可能有唯一解，当然也不排除会出现多个解甚至无穷多解（例如下图河边是一条直线，且M,C就在河边时）。(关于这个知识点稍后在其它答案中给出解释)。

2. 从数学公式中获得灵感

仍人是问题： $max \\, f(P) = d(M,P) + d(P, C) \\\\ subject \\, to \\, : \\, g(P) = 0.$

我们知道在多元微积分中如果想求一个函数的极值一般的做法是把 $\\nabla f( \\bm P) = 0$ ，如何把这个公式和我们的约束条件 $\\nabla g( \\bm P) = 0$ 统一在一起呢？

答案是：引入 $\\lambda$ 并且定义一个新的函数： $F( \\bm P, \\lambda ) = f( \\bm P) - \\lambda g( \\bm P)$ ，
令： $\\nabla F( \\bm P, \\lambda) = \\nabla F(x,y, \\lambda) = \\begin{pmatrix} F_{x} \\\\ F_{y} \\\\ F_{\\lambda} \\end{pmatrix} = \\bm 0$ 与我们要求解的优化问题是等价的：
因为: $F_{\\lambda} = g(\\bm P) = g(x,y) =0$ 与约束条件等价，而且此时 $F(\\bm P, \\lambda ) = f( \\bm P) - \\lambda 0 = f(\\bm P)$ 即拉格朗日函数 $F(\\bm P)$ 与我们的目标函数 $f(\\bm P)$ 取相同值。用拉格朗日函数把目标函数和约束条件统一在了一起。

实际上这种方法与上面的几何方法是完全等价的：

$F_{x} = 0 \\Rightarrow f_{x} - \\lambda g_{x} = 0 \\Rightarrow f_{x} = \\lambda g_{x} \\; (1) \\\\ F_{y} = 0 \\Rightarrow f_{y} - \\lambda g_{y} = 0 \\Rightarrow f_{y} = \\lambda g_{y} \\; (2) \\\\ g(x,y) = 0 \\; (3)$

3. 推广到高维空间
以上我们一直在讨论二维的情形，下面让我们看看这个问题的高维情况：以几何观点为例：

假设约束条件变成 $g(\\bm P) =0 \\\\ h(\\bm P) = 0$ ，其中 h是紫色椭球面， g是平面。它们相交于黑色的环，且在相交线上（黑色环）各自的方向向量（ $\\bm n_{h} , \\bm n_{g}$ ）与相交线垂直。

对于我们的目标函数 $f(\\bm P)$ ，下图中红色椭球是它的等值面。它与黑色环的交点 $\\bm P$ ，此处的向量

$\\bm n_{f} = \\lambda \\bm n_{h} + \\mu \\bm n_{g} \\Rightarrow \\nabla f(\\bm P) = \\lambda \\nabla h(\\bm P) + \\mu \\nabla g(\\bm P)$

更高维度同理。

参考：
- An Introduction to Lagrange Multipliers

作者：卢健龙
链接：https://www.zhihu.com/question/38586401/answer/105273125

作者：陆zz

链接：https://www.zhihu.com/question/38586401/answer/105400458
作者：晓雷
链接：https://www.zhihu.com/question/38586401/answer/122745294
作者：灵剑
链接：https://www.zhihu.com/question/38586401/answer/105272615
来源：知乎

以上是关于拉格朗日乘子法的主要内容，如果未能解决你的问题，请参考以下文章

拉格朗日乘子法及其对偶问题和KKT条件

拉格朗日乘子法

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

机器学习笔记——拉格朗日乘子法和KKT条件