牛顿法和拟牛顿法
Posted 败家先森
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了牛顿法和拟牛顿法相关的知识,希望对你有一定的参考价值。
梯度下降在逻辑回归中已经介绍过,它是求解无约束最优化问题的常用方法,而牛顿法和拟牛顿法也是求解无约束最优化问题的常用方法,且收敛速度更快。牛顿法是迭代算法,每一步都需要求解目标函数的海塞矩阵的逆矩阵,计算比较复杂。拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海塞矩阵,简化了这一计算过程。
1.牛顿法
考虑无约束最优化问题:
其中
x∗
为目标的极小值点。
备用知识——一元
f(x)
、二阶泰勒展开
假设
f(x)
具有二阶连续偏导数,若第
k
次迭代值为
其中,
gk=g(x(k))=∇f(x(k))
是
f(x)
的梯度向量在点
x(k)
的值,
H(x(k))
是
f(x)
的海塞矩阵(Hesse matrix):
以上是关于牛顿法和拟牛顿法的主要内容,如果未能解决你的问题,请参考以下文章