漫步最优化四十三——拟牛顿法
Posted 会敲键盘的猩猩
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了漫步最优化四十三——拟牛顿法相关的知识,希望对你有一定的参考价值。
从相距千里,
到心与心的碰撞,
情感是一种随机,
也是一种必然。
从一个人到两个人,
我们感受到了很多,
学到了很多,
就像一个刚出生的婴儿,
未来等着我们去共同探索。
——畅宝宝的傻逼哥哥
对于前面文章介绍的多维优化法,我们都是用共轭方向集合来解决最小值的搜索,这些方法 (像Fletch-Reeves与Powell法)最重要的特征就是不需要 f(x) 二阶导的显式表达,还有一类不需要二阶导显式表达的方法:拟牛顿法,有时候称为变尺度法。
人如其名,这类方法的基础就是之前介绍的牛顿法,拟牛顿法的基本原则是搜索的方向基于 n×n 的方向矩阵 S ,功能就像牛顿法中的逆矩阵。这个矩阵从可得到的数据中产生,作为 H−1 的近似,更进一步,随着迭代数的增长, S 会满满变成 H−1 的精确表示,对于凸二次目标函数,在 n+1 次迭代时等于 H−1 。
拟牛顿法与其他方法一样,也是来于凸二次问题,然后扩展到一般的情况,因为拟牛顿法是目前方法中最有效的,所以在数值应用上使用最广泛。
最近几年已经发展出了许多不同的拟牛顿法,接下里介绍四种最重要的拟牛顿法:
- Rank-one法
- Davidon-Fletcher-Powell法
- Broyden-Fletcher-Goldfarb-Shanno法
- Fletcher法
然后还会讨论几个可替换的方法以及两个有趣的推广,其中一个由Broyden发明,另一个由Huang发明。
以上是关于漫步最优化四十三——拟牛顿法的主要内容,如果未能解决你的问题,请参考以下文章