[ML]交替方向乘子法(ADMM)简明梳理

Posted 2020-12-14 clouds42

交替方向乘子法(ADMM)简明梳理

本文对ADMM所涉及的一些数学知识进行简单的讲解, 并在最后汇总, 写出ADMM的基本形式.

本文对推导过程酌情省略.

拉格朗日乘子法

给定二元函数(z=f(x,y))和约束条件(psi(x,y)=0), 求二元函数(z=f(x,y))在约束条件下的极值点. 该问题可以用拉格朗日乘子法解:

首先做拉格朗日函数

[L(x,y,lambda)=f(x,y)+lambdapsi(x,y) ]

其中(lambda)为参数.

令上式对所有自变量的一阶偏导等于零, 即

[egin{cases} frac{partial L(x,y,lambda)}{partial x}=0\frac{partial L(x,y,lambda)}{partial y}=0\frac{partial L(x,y,lambda)}{partiallambda}=0 end{cases} ]

由上式解出(x), (y)及(lambda), 如此求得的((x,y)), 就是函数(z=f(x,y))在约束条件(psi(x,y)=0)下的可能极值点. 若这样的点只有一个, 由实际问题可直接确定此点即所求的点.

对偶上升法

首先需要简单介绍一下凸函数的定义. 凸函数比较直观的含义即为函数上任意两点的连线都在函数值之上, 二维上的典型是(y=x^2), 形如下凸的曲线, 三维上的典型是(z=x^2+y^2), 形如山谷.

接下来提出一个基础问题:

设函数(f(x))是一个凸函数, 约束条件为(Ax=b), 求函数(f(x))的最小值.

即

[ ext{min} f(x)\text{s.t.} Ax=b ]

写出该问题的拉格朗日函数

[L(x,y)=f(x)+y^T(Ax-b) ]

其中(y)是拉格朗日乘子, 也称为对偶变量.

对偶函数为

[g(x)=mathop{ ext{inf}}limits_xL(x,y)=-f^*(-A^Ty)-b^Ty ]

其中inf代表下确界, (f^*)代表(f)的共轭函数.

在满足一定条件的情况下, 对偶问题和原问题的最优值相等. 设原问题最优值为(x^*), 对偶问题最优值为(y^*), 则

[x^*=mathop{ ext{arg min}}limits_xL(x,y^*) ]

则可以通过对偶上升法, 通过梯度上升法迭代求解, 即

[x^{k+1}=mathop{ ext{arg min}}limits_xL(x,y^k)y^{k+1}=y^k+alpha_k(Ax^{k+1}-b) ]

增广拉格朗日乘子法

在原拉格朗日乘子法的基础上加入惩罚项, 即为增广拉格朗日乘子法, 形如

[L_ ho(x,y)=f(x)+y^T(Ax-b)+frac{ ho}{2}Vert Ax-bVert_2^2 ]

其中( ho>0), 称为惩罚参数.

在增广拉格朗日乘子法下, 原问题变为

[mathop{ ext{min}}limits_xf(x)+frac{ ho}{2}Vert Ax-bVert_2^2\text{s.t.} Ax=b ]

对偶上升迭代更新为

[x^{k+1}=mathop{ ext{arg min}}limits_xL_ ho(x,y^k)y^{k+1}=y^k+ ho(Ax^{k+1}-b) ]

交替方向乘子法

将原问题推广到多个参数的情形下

[mathop{ ext{min}}limits_xf(x)+g(z)\text{s.t.} Ax+Bz=c ]

其中(xinmathbb{R}^n,zinmathbb{R}^m,cinmathbb{R}^p,Ainmathbb{R}^{p imes n},Binmathbb{R}^{p imes m}).

其拉格朗日函数可以写为

[L_ ho(x,z,y)=f(x)+g(z)+y^T(Ax+bz-c)+frac{ ho}{2}Vert Ax+Bz-cVert_2^2 ]

其更新迭代形式为

[x^{k+1}=mathop{ ext{arg min}}limits_xL_ ho(x,z^k,y^k)z^{k+1}=mathop{ ext{arg min}}limits_zL_ ho(x^{k+1},z,y^k)y^{k+1}=y^k+ ho(Ax^{k+1}+Bz^{k+1}-c) ]

其中( ho>0).