漫步最优化三十五——共轭

Posted 2022-12-01 会敲键盘的猩猩

$\\textbf我对你的喜欢像玻璃，$
$\\textbf透明的能被你看穿。$
$\\textbf我对你的思念像影子，$
$\\textbf傍晚时分就被拉长。$
$\\textbf我愿意顶着大太阳，$
$\\textbf为了给你撑伞。$
$\\textbf我愿意奉献我肩膀，$
$\\textbf为了给你依靠。$
$\\textbf牵着你瞎逛，$
$\\textbf牵着你分享美食，$
$\\textbf牵着你走遍世界。$
$\\textbf——畅宝宝的傻逼哥哥$

对于前面描述的多维优化方法，每次迭代搜索的方向依赖于目标函数的局部特性，虽然相邻搜索方向可能存在关系，但是这个关系是随机的。接下来我们介绍的方法中相邻的搜索方向严格满足某种数学关系，其中最重要的一类方法是基于共轭方向的。

与牛顿法类似，共轭方向法发展于二次优化问题，然后扩展到一般的优化问题。对于二次问题，只需要有限的迭代次数就能达到收敛。

其实很多类型的问题应用共轭方向法都非常有效，并且在以前已经被广泛使用，下面是四类最重要的这类方法：

• 共轭梯度法
• Fletcher-Reeves法
• Powell法
• Partan法

接下里会介绍涉及到的主要原则以及基于这些方法的算法。