最优化学习 牛顿法（Newton’s method）
Posted Real&Love
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最优化学习 牛顿法（Newton’s method）相关的知识，希望对你有一定的参考价值。
牛顿法（Newton’s method）
牛顿法（Newton’s method）
最速下降法使对一次微分，牛顿法主要是对二次可微的函数进行判断
N
e
w
t
o
n
′
s
m
e
t
h
o
d
Newton's \\text{ }method \\text{ }
Newton′s method
d
k
=
arg
min
v
{
∇
f
T
(
x
)
v
+
1
2
v
T
∇
2
f
(
x
)
v
}
=
−
(
∇
2
f
(
x
k
)
)
−
1
∇
f
(
x
k
)
d^{k} = \\mathop{\\arg\\min}_{v}\\left\\{\\nabla f^{T}(x) v+\\frac{1}{2} v^{T} \\nabla^{2} f(x) v\\right\\}=-\\left(\\nabla^{2} f\\left(x^{k}\\right)\\right)^{-1} \\nabla f\\left(x^{k}\\right)
dk=argminv{∇fT(x)v+21vT∇2f(x)v}=−(∇2f(xk))−1∇f(xk)
收敛性分析 ∃ η > 0 \\exists \\eta>0 ∃η>0
- 若 ∥ ∇ f ( x ) ∥ 2 > η \\| \\nabla f(x) \\|_{2}>\\eta ∥∇f(x)∥2>η：damped Newton phase
- 若
∥
∇
f
(
x
)
∥
2
<
η
\\| \\nabla f(x) \\|_{2}<\\eta
∥∇f(x)∥2<η：quadratically convergent phase
f ( x k + 1 ) − P ∗ f ( x k ) − P ∗ ∼ u ( < 1 ) 线性 \\frac{f\\left(x^{k+1}\\right)-P^{*}}{f\\left(x^{k}\\right)-P^{*}} \\sim u(<1) \\text{ 线性} f(xk)−P∗f(xk+1)−P∗∼u(<1) 线性 f ( x k + 1 ) − P ∗ f ( x k ) − P ∗ ∼ u 2 ( < 1 ) 二次 \\frac{f\\left(x^{k+1}\\right)-P^{*}}{f\\left(x^{k}\\right)-P^{*}} \\sim u^{2}(<1)\\text{ 二次} f(xk)−P∗f(xk+1)−P∗∼u2(<1) 二次
图示和例子
对于一般函数，会在某个邻域会使收敛速度加快
对于凸二次目标函数，几乎可以一步收敛
优点和缺陷
以上是关于最优化学习 牛顿法（Newton’s method）的主要内容，如果未能解决你的问题，请参考以下文章