L-BFGS算法(转载)

Posted outthinker

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了L-BFGS算法(转载)相关的知识,希望对你有一定的参考价值。

转载链接:http://blog.csdn.net/itplus/article/details/21897715

 

 

前面的拟牛顿法、DFP、BFGS、L-BFGS算法简短总结一下就是:

牛顿法不仅使用了梯度还使用了梯度下降的趋势,所以能加速下降;DFP和BFGS为了弥补牛顿法的不足(海森矩阵必须可逆),它们使用迭代法分别近似海森矩阵的逆和它自身;L-BFGS是为了减小内存开支,用向量代替矩阵(其中用到近似)

注意:这里的算法2.4暂时还不知道如何设计出来的,不过可以取一个较小的m值,一步一步体会一下作者的思路。

以上是关于L-BFGS算法(转载)的主要内容,如果未能解决你的问题,请参考以下文章

条件随机场入门 条件随机场的训练

机器学习中常见的优化算法

先进的优化

转载聚类算法小结

转载︱案例 基于贪心算法的特征选择

最优化方法与机器学习工具集