漫步最优化三十九——Fletcher-Reeves法

Posted 2022-11-25 会敲键盘的猩猩

$\\textbf你的目光像桥梁，$
$\\textbf指引我通往你心路的捷径。$
$\\textbf你的魅力像磁铁，$
$\\textbf加快我靠向你身边的步伐。$
$\\textbf想在你颈边轻轻呼吸，$
$\\textbf想在你耳边吐露真言，$
$\\textbf想成为你生命的韵律。$
$\\textbfPasito a pasito, suave suavecito$
$\\textbfNos vamos pegando, poquito a poquito$
$\\textbfY es que esa belleza es un rompecabezas$
$\\textbfPero pa montarlo aun tengo la pieza$
$\\qquad\\qquad\\qquad\\quad\\textbf——畅宝宝的傻逼哥哥$
Fletcher-Reeves法是共轭梯度法的变种，它的主要特征是参数 $\\alpha_k,k=0,1,2,\\ldots$是用线搜索最小化 $f(\\mathbfx+\\alpha\\mathbfd_k)$确定的，这与最速下降或者牛顿法一样。而不同点在于 $\\mathbfd_k$是对 $\\mathbfd_k-1,\\mathbfd_k-2,\\ldots,\\mathbfd_0$共轭，而不是最速梯度方向或者牛顿方向。
如果所求的问题是凸的，二次的且方向按共轭梯度发选择，那么
$$\\fracdf(\\mathbfx_k+\\alpha\\mathbfd_k)d\\alpha=\\mathbfg_k+1^T\\mathbfd_k=0$$

其中$k=0,1,2,\\ldots$，更进一步，共轭的方向集合确保

$$\\fracdf(\\mathbfx_k+\\alpha\\mathbfd_i)d\\alpha=\\mathbfg_k+1^T\\mathbfd_i=0\\quad\\textfor\\ 0\\leq i\\leq k$$

或者

$$\\mathbfg_k^T\\mathbfd_i=0\\quad\\textfor\\ 0\\leq i<k$$

所以通过线搜索确定的$\\alpha_k$等价于共轭梯度法。因为线搜索需要更多的计算量，所以Fletcher-Reeves的修正是退化的一步，但不管怎样，这样做得到两个非常明显的好处：

• 这个修正使得该方法更加适应非二次问题的最小化，这是因为对不在解邻域内的点，$f(\\mathbfx)$沿着$\\mathbfd_k$方向能够更大程度的减少，这是因为对于非二次问题，共轭梯度法得到的$\\alpha$沿着$\\mathbfd_k$方向不会得到最小值。
• 这个修正避免了推导计算海森矩阵。

如果每 漫步最优化二十九——D.S.C.算法

漫步最优化三十一——梯度法

漫步最优化三十五——共轭

漫步最优化三十三——牛顿法

漫步最优化三十四——高斯-牛顿法

漫步最优化三十——非精确线搜索