无约束梯度算法

Posted terrypython

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了无约束梯度算法相关的知识,希望对你有一定的参考价值。

梯度方向

梯度方向的定义

技术图片
技术图片

为什么选梯度方向

技术图片

技术图片

技术图片

沿梯度方向存在的问题

技术图片

注:用一句话来说就是“沿梯度方向,函数不能再有限步达到最优!”

梯度算法

梯度算法的定义

技术图片

技术图片

技术图片

梯度算法例题

技术图片

最优梯度

最优梯度的定义

技术图片

技术图片

最优梯度的例题

技术图片

最优梯度的收敛特性

技术图片

以上是关于无约束梯度算法的主要内容,如果未能解决你的问题,请参考以下文章

无约束优化算法-第二节:梯度类算法

无约束优化算法-第三节:次梯度类算法

梯度下降无约束最优化问题

运筹学(最优化理论)学习笔记 | 共轭梯度法

ML-3梯度下降(Gradient Descent)小结

MATLAB从入门到精通-最速下降算法牛顿算法BFGS拟牛顿算法共轭梯度算法无约束极值问题