漫步最优化三十四——高斯-牛顿法

Posted 2022-12-03 会敲键盘的猩猩

$\\textbf你的温柔像羽毛，$
$\\textbf秘密躺在我怀抱。$
$\\textbf你的微笑像拥抱，$
$\\textbf只有我能看到。$
$\\textbf你的香味在徘徊，$
$\\textbf我舍不得离开。$
$\\textbf我坚持学单纯的小孩，$
$\\textbf只想看守这份爱。$
$\\textbf——畅宝宝的傻逼哥哥$

对于许多优化问题，其目标函数是函数向量的形式
$$\\mathbff=[f_1(\\mathbfx)\\ f_2(\\mathbfx)\\ \\cdots\\ f_m(\\mathbfx)]^T$$

其中$f_p(\\mathbfx),p=1,2,\\ldots,m$是$\\mathbfx$的函数且互相独立，要求的解就是同时使$f_p(\\mathbfx)$为零的点$\\mathbfx$。

对于这样的问题，我们可以构造如下的实值函数

$$F=\\sum_p=1^mf_p(\\mathbfx)^2=\\mathbff^T\\mathbff$$

如果用多维无约束算法最小化$F$，那么相当于用最小二乘最小化函数$f_p(\\mathbfx)$。

一种求解上面问题的方法是高斯-牛顿法，这个方法基于前面介绍的牛顿法。

因为有多个函数$f_p(\\mathbfx)$且每个都依赖于$x_i,i=1,2,\\ldots,n$，那么存在一个梯度矩阵

J=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢∂f1∂x1∂f2∂x1⋮∂fm∂x1∂f1∂x2∂f2∂x2⋮∂f漫步最优化四十四——基本拟牛顿法

漫步最优化四十四——基本拟牛顿法

高斯牛顿法的介绍

漫步最优化四十三——拟牛顿法

漫步最优化四十三——拟牛顿法

拟牛顿法之BFGS