牛顿法和拟牛顿法

Posted 败家先森

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了牛顿法和拟牛顿法相关的知识,希望对你有一定的参考价值。

  梯度下降在逻辑回归中已经介绍过,它是求解无约束最优化问题的常用方法,而牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法,且收敛速度更快。牛顿法是迭代算法,每一步都需要求解目标函数的海塞矩阵的逆矩阵,计算比较复杂。拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海塞矩阵,简化了这一计算过程。

1.牛顿法

  考虑无约束最优化问题:

minxRnf(x)

其中 x 为目标的极小值点。
  备用知识——一元 f(x) 、二阶泰勒展开

f(x)=f(x(k))+f(x(k))(xx(k))+12f′′(x(k))(xx(k))2

  假设 f(x) 具有二阶连续偏导数,若第 k 次迭代值为x(k),则可将 f(x) x(k) 附近进行二阶泰勒展开:

f(x)=f(x(k))+gTk(xx(k))+12(xx(k))TH(x(k))(xx(k))

其中, gk=g(x(k))=f(x(k)) f(x) 的梯度向量在点 x(k) 的值, H(x(k)) f(x) 的海塞矩阵(Hesse matrix):

H(X)=[2fxixj]n×n
  

以上是关于牛顿法和拟牛顿法的主要内容,如果未能解决你的问题,请参考以下文章

拟牛顿法的DFP方法

A-03 牛顿法和拟牛顿法

第十一章 拟牛顿法

拟牛顿法之BFGS

牛顿法梯度下降法与拟牛顿法

牛顿法与拟牛顿法的区别与联系