对偶上升法到增广拉格朗日乘子法到ADMM

Posted wzdly

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了对偶上升法到增广拉格朗日乘子法到ADMM相关的知识，希望对你有一定的参考价值。

对偶上升法

技术分享图片

技术分享图片

增广拉格朗日乘子法

技术分享图片

 

ADMM

　　交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种解决可分解凸优化问题的简单方法，尤其在解决大规模问题上卓有成效，利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题，然后并行求解每一个子问题，最后协调子问题的解得到原问题的全局解，适用于大规模分布式优化问题。

技术分享图片

技术分享图片

技术分享图片

 

技术分享图片

Lasso的ADMM求解算法

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

 

以上是关于对偶上升法到增广拉格朗日乘子法到ADMM的主要内容，如果未能解决你的问题，请参考以下文章

[ML]交替方向乘子法(ADMM)简明梳理

增广拉格朗日乘子法（Augmented Lagrange Method）

拉格朗日对偶性

拉格朗日乘子法与对偶问题

机器学习系列(23)_SVM碎碎念part6：对偶和拉格朗日乘子

ADMM——交替方向乘子法