最优化学习最速下降法（steepest Descent)

Posted 2021-06-10 Real&Love

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最优化学习最速下降法（steepest Descent)相关的知识，希望对你有一定的参考价值。

最速下降法（steepest Descent）

最速(陡)下降法（steepest Descent)

v正则化为2范数

在这里插入图片描述

v为1范数和v为无穷范数

在这里插入图片描述

Steepest Gradient的变种

坐标轴交替下降法(Coordinate Descent)

在这里插入图片描述

若f(x)在某点不可微(引入次梯度 subgradient)

在这里插入图片描述

例子

在这里插入图片描述

以上是关于最优化学习最速下降法（steepest Descent)的主要内容，如果未能解决你的问题，请参考以下文章

线性方程组的迭代解法——最速下降法

Gradient descent梯度下降(Steepest descent)

最优化学习笔记最速下降法

优化理论05----最速下降法最速下降法思想python实现

机器学习常见的优化算法

最速梯度下降