漫步最优化四十三——拟牛顿法

Posted 2022-11-06 会敲键盘的猩猩

$\\textbf从相距千里，$
$\\textbf到心与心的碰撞，$
$\\textbf情感是一种随机，$
$\\textbf也是一种必然。$
$\\textbf从一个人到两个人，$
$\\textbf我们感受到了很多，$
$\\textbf学到了很多，$
$\\textbf就像一个刚出生的婴儿，$
$\\textbf未来等着我们去共同探索。$
$\\quad\\textbf——畅宝宝的傻逼哥哥$
对于前面文章介绍的多维优化法，我们都是用共轭方向集合来解决最小值的搜索，这些方法 (像Fletch-Reeves与Powell法)最重要的特征就是不需要 $f(\\mathbfx)$二阶导的显式表达，还有一类不需要二阶导显式表达的方法：拟牛顿法，有时候称为变尺度法。

人如其名，这类方法的基础就是之前介绍的牛顿法，拟牛顿法的基本原则是搜索的方向基于$n\\times n$的方向矩阵$\\mathbfS$，功能就像牛顿法中的逆矩阵。这个矩阵从可得到的数据中产生，作为$\\mathbfH^-1$的近似，更进一步，随着迭代数的增长，$\\mathbfS$会满满变成$\\mathbfH^-1$的精确表示，对于凸二次目标函数，在$n+1$次迭代时等于$\\mathbfH^-1$。

拟牛顿法与其他方法一样，也是来于凸二次问题，然后扩展到一般的情况，因为拟牛顿法是目前方法中最有效的，所以在数值应用上使用最广泛。

最近几年已经发展出了许多不同的拟牛顿法，接下里介绍四种最重要的拟牛顿法：

• Rank-one法
• Davidon-Fletcher-Powell法
• Broyden-Fletcher-Goldfarb-Shanno法
• Fletcher法

然后还会讨论几个可替换的方法以及两个有趣的推广，其中一个由Broyden发明，另一个由Huang发明。