拟牛顿法——DFPBFGSL-BFGS

Posted yif25

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了拟牛顿法——DFPBFGSL-BFGS相关的知识,希望对你有一定的参考价值。

DFP

该算法的核心是:通过迭代的方法,对Hk+1(-1)近似。迭代方式:

image

其中D0通常取为单位矩阵,关键是每一步构造矫正矩阵△Dk

考虑△Dk 的待定形式为

image

拟牛顿的条件

这里插播一下拟牛顿的条件。

前面有讲到,拟牛顿法是想找到一个近似矩阵D来近似海森矩阵H的逆。显然D的选择是必须有条件的。为了表示清楚,下文B≈H,D≈H-1

设经过k+1次迭代后得到Xk+1,此时将目标函数在Xk+1附近作泰勒展开,取二阶近似,得到

image

 

对其两边作用一个梯度算子▽,可得

image

在上式中取X=Xk,并整理得到

image

若引入记号

image

则有

image或者image

这就是所谓的拟牛顿条件对于我们的近似矩阵B或D则有

image

有了这个拟牛顿条件我们就能开始构造D了

构造矩阵D

结合两式:imageimage

则有

image

并且可以写成

image

由于imageimage是两个数,且里面α和β在里面起到类似放缩的作用,不妨假设image

image

其中u,v仍是待定的

可以得到image

不妨直接取image

则有image

至此则有

image

image

注:这里的(1.13)公式为image

 

这里gk表示一阶导。

Devil待更新!!


转自http://blog.csdn.net/itplus

 

以上是关于拟牛顿法——DFPBFGSL-BFGS的主要内容,如果未能解决你的问题,请参考以下文章

拟牛顿法之BFGS

第十一章 拟牛顿法

牛顿法与拟牛顿法的区别与联系

牛顿法与拟牛顿法 拟牛顿条件

A-03 牛顿法和拟牛顿法

牛顿法、拟牛顿法