L-BFGS算法(转载)
Posted outthinker
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了L-BFGS算法(转载)相关的知识,希望对你有一定的参考价值。
转载链接:http://blog.csdn.net/itplus/article/details/21897715
前面的拟牛顿法、DFP、BFGS、L-BFGS算法简短总结一下就是:
牛顿法不仅使用了梯度还使用了梯度下降的趋势,所以能加速下降;DFP和BFGS为了弥补牛顿法的不足(海森矩阵必须可逆),它们使用迭代法分别近似海森矩阵的逆和它自身;L-BFGS是为了减小内存开支,用向量代替矩阵(其中用到近似)
注意:这里的算法2.4暂时还不知道如何设计出来的,不过可以取一个较小的m值,一步一步体会一下作者的思路。
以上是关于L-BFGS算法(转载)的主要内容,如果未能解决你的问题,请参考以下文章