第十一章 拟牛顿法

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第十一章 拟牛顿法相关的知识,希望对你有一定的参考价值。

参考技术A 牛顿法是一种具有较高实用性的优化问题求解方法。牛顿法如果收敛,则收敛阶数至 少是2。但是,需要指出的是,当目标函数为一般性的非线性函数时,牛顿法不能保证能 够从任意起始点旷的收敛到函数的极小点。总的来说,如果初始点 x(O) 不足够接近极小点,那么牛顿法可能不具有下降特性。

拟牛顿法的基础是获取近似矩阵应该满足的条件,假定目标函数 的黑塞矩阵 是常数矩阵,与 取值无关,即目标函数是二次型函数,则有:



记正定实矩阵 是近似矩阵的出实矩阵,在给定的 下,矩阵 应该满足:

因此,近似矩阵 满足:

以上是关于第十一章 拟牛顿法的主要内容,如果未能解决你的问题,请参考以下文章

梯度下降之模拟退火梯度下降之学习计划牛顿法拟牛顿法共轭梯度法

优化理论07-----拟牛顿法拟牛顿方程对称秩二更新公式BFGSDFSBroyden族Huang’s Family

常见的几种最优化方法(梯度下降法牛顿法拟牛顿法共轭梯度法等)

拟牛顿法的DFP方法

拟牛顿法之BFGS

牛顿法与拟牛顿法的区别与联系