漫步最优化三十七——共轭梯度法

Posted 2022-11-28 会敲键盘的猩猩

$\\textbf我卸不下对你的喜欢，$
$\\textbf因为爱会慢慢增加重量。$
$\\textbf我醉心于你的发香，$
$\\textbf因为它让回想有了画面感。$
$\\textbf在虚拟的土壤与$
$\\textbf真实的肉体上，$
$\\textbf文字与真心蔓延滋长了$
$\\textbf我们的感情。$
$\\textbf脑海储存着幸福，$
$\\textbf不断放送着你可爱的模样。$
$\\qquad\\textbf——畅宝宝的傻逼哥哥$
Hestenes与Stiefel提出了一种生成共轭方向的有效方法，就是共轭梯度法。该方法中，每次迭代生成方向，当迭代第 $k+1$次时，用前一个方向 $\\mathbfd_k$生成新的点 $\\mathbfx_k+1$，然后 $\\beta\\mathbfd_k$加上 $-\\mathbfg_k+1$(新点处的负梯度)生成新的方向 $\\mathbfd_k+1$。

共轭方向法基于下面的定理，除了定义生成共轭方向的方法外，其余都与上篇文章的定理1一样。

$\\textbf定理1：$(a)如果$\\mathbfH$是正定矩阵，那么对任意初始点$\\mathbfx_0$与初始方向

$$\\mathbfd_0=-\\mathbfg_0=-(\\mathbfb+\\mathbfHx_0)$$
由递推关系
$$\\beginequation \\mathbfx_k+1=\\mathbfx_k+\\alpha_k\\mathbfd_k\\tag1 \\endequation$$

生成的序列收敛到唯一解$\\mathbfx^*$，其中

αkgdk+1βk=−gTkdkdTkHdk=b+Hxk<

以上是关于漫步最优化三十七——共轭梯度法的主要内容，如果未能解决你的问题，请参考以下文章

漫步最优化三十一——梯度法

漫步最优化三十五——共轭

数值优化 Ch.5 共轭梯度法

最优化方法：共轭梯度法（Conjugate Gradient）

运筹学（最优化理论）学习笔记 | 共轭梯度法

无约束最优化(二) 共轭方向法与共轭梯度法