漫步最优化四十三——拟牛顿法

Posted 会敲键盘的猩猩

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了漫步最优化四十三——拟牛顿法相关的知识,希望对你有一定的参考价值。











——
对于前面文章介绍的多维优化法,我们都是用共轭方向集合来解决最小值的搜索,这些方法 (像Fletch-Reeves与Powell法)最重要的特征就是不需要 f(x) 二阶导的显式表达,还有一类不需要二阶导显式表达的方法:拟牛顿法,有时候称为变尺度法。

人如其名,这类方法的基础就是之前介绍的牛顿法,拟牛顿法的基本原则是搜索的方向基于 n×n 的方向矩阵 S ,功能就像牛顿法中的逆矩阵。这个矩阵从可得到的数据中产生,作为 H1 的近似,更进一步,随着迭代数的增长, S 会满满变成 H1 的精确表示,对于凸二次目标函数,在 n+1 次迭代时等于 H1

拟牛顿法与其他方法一样,也是来于凸二次问题,然后扩展到一般的情况,因为拟牛顿法是目前方法中最有效的,所以在数值应用上使用最广泛。

最近几年已经发展出了许多不同的拟牛顿法,接下里介绍四种最重要的拟牛顿法:

  • Rank-one法
  • Davidon-Fletcher-Powell法
  • Broyden-Fletcher-Goldfarb-Shanno法
  • Fletcher法

然后还会讨论几个可替换的方法以及两个有趣的推广,其中一个由Broyden发明,另一个由Huang发明。

以上是关于漫步最优化四十三——拟牛顿法的主要内容,如果未能解决你的问题,请参考以下文章

漫步最优化四十四——基本拟牛顿法

漫步最优化四十四——基本拟牛顿法

漫步最优化三十三——牛顿法

拟牛顿法之BFGS

A-03 牛顿法和拟牛顿法

最优化学习笔记牛顿法及拟牛顿法