漫步最优化四十四——基本拟牛顿法

Posted 2023-02-06 会敲键盘的猩猩

$\\textbf你走进了我的视觉，$
$\\textbf我开始发现，$
$\\textbf心里有个角落，$
$\\textbf一直在等你出现。$
$\\textbf你的可爱让我沦陷，$
$\\textbf你的魅力让我倾倒，$
$\\textbf总是想着看你一遍，$
$\\textbf不管天涯海角，$
$\\textbf我要在你的身边。$
$\\textbf——畅宝宝的傻逼哥哥$

对于前面介绍的方法，第 $k$次迭代生成的点由
$$\\beginequation \\mathbfx_k+1=\\mathbfx_k-\\alpha_k\\mathbfS_k\\mathbfg_k\\tag1 \\endequation$$

生成，其中

$$\\mathbfS_k= \\begincases \\mathbfI_n&\\text对于最速下降法\\\\ \\mathbfH_k^-1&\\text对于牛顿法 \\endcases$$

如果二次问题为

$$\\textminimize\\ f(\\mathbfx)=a+\\mathbfb^T\\mathbfx+\\frac12\\mathbfx^T\\mathbfHx$$

我们现在用任意一个$n\\times n$的正定矩阵$\\mathbfS_k$来求上述问题的解，看看会得到什么。通过对$f(\\mathbfx_k-\\alpha\\mathbfS_k\\mathbfg_k)$求导并令其等于零，最小化$f(\\mathbfx_k-\\alpha\\mathbfS_k\\mathbfg_k)$的$\\alpha$可以化简为

αk=gTkSkgkgTkSkHSkgk漫步最优化四十三——拟牛顿法

漫步最优化四十三——拟牛顿法

第五章 拟牛顿法

牛顿法和拟牛顿法

牛顿法和拟牛顿法

牛顿法与拟牛顿法