暴力拆解《Numerical Optimization》之信任域方法（下）——Dogleg（狗腿方法）

Posted 2022-08-18 xiaopihaierletian

这一节，我们来介绍一下DogLeg方法。

还记得模型函数吗：

在Dogleg方法中，要求模型函数中的B必须是正定矩阵。至于为什么，先卖个关子，学完之后你自然就明白了。

现在我们正式开始学习吧~：

由于B是正定矩阵，那么，有前面几篇博客的介绍可知，在无约束条件下，模型函数的极值在点取到。那么，

1.，那么，由上面的讨论可知。

2.那么，当时，又该怎么办呢？

当时，由于约束的存在，我们可以把中的二次项看做一个很小的项：

那么，的方强我们可以确定为。

现在我们将结合这个方向和方向在信任域内找一个适合的，能让值下降方向。

我们再捋一捋之前的步骤：

a.若，那么一定是让模型函数下降最多的最优方向。

b.若，讨论时情况，的方向为，目标函数的梯度负方向。

现在我们处在第二种情况。

现在我们知道方向了，但是我们还不知道步长，该怎么办呢？

柯西点中使用的步长是的步长值，这里我们换一个方法，我们来讨论下面这个函数：

利用在前面介绍的方法，将这个函数对求导，可以求得。

面对我们现在的这种情况，将，的情况代入上面求出的中，可以求得，这里的。

令，

a.若，那么，在信任域内，选择为下降方向

b.若，那么，令，选择为下降方向。

c.若，那么，我们看下图

看到这个图，有没有产生这样一种想法，既然没有抵到信任域边界，那我们可不可以在到达之后，努力的再往方向靠一靠，让模型函数可以进一步减小，岂不是更好？Dogleg也是这么想的。看下图：

看到这里就能理解为什么要叫DogLeg方法了吧，因为在的情况下，真的很像狗腿。

综上，

其中的求解过程如下：

配图如下：

现在我们来解释为什么B一定要是正定矩阵：

因为若果B不是正定矩阵的话，不一定是一个能让模型函数值减小的方向，那么以上的讨论又有什么意义呢？