优化理论19----DNRTR无约束优化的对角拟牛顿修正方法
Posted 炫云云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了优化理论19----DNRTR无约束优化的对角拟牛顿修正方法相关的知识，希望对你有一定的参考价值。
最优化知识笔记整理汇总，超级棒
介绍
用一种对角拟牛顿修正方法求解无约束优化问题:
min
f
(
x
)
(1)
\\min f(x)\\tag{1}
minf(x)(1)
其中
f
:
R
n
→
R
f: \\mathrm{R}^{n} \\rightarrow \\mathrm{R}
f:Rn→R是一个连续可微函数。对于求解问题(1)，给出了一个初点
x
0
∈
R
n
x_{0} \\in \\mathrm{R}^{n}
x0∈Rn ，和函数
f
f
f在
x
0
x_{0}
x0中的Hessian初始近似矩阵
B
0
∈
R
n
×
n
B_{0} \\in \\mathrm{R}^{n \\times n}
B0∈Rn×n 其对称且正定，拟牛顿方法生成一个序列
x
k
+
1
=
x
k
+
α
k
d
k
(2)
x_{k+1}=x_{k}+\\alpha_{k} d_{k}\\tag{2}
xk+1=xk+αkdk(2)
k
=
0
,
1
,
…
,
k=0,1, \\ldots,
k=0,1,…, 其中
d
k
∈
R
n
d_{k} \\in \\mathrm{R}^{n}
dk∈Rn 为搜索方向，计算方式：
B
k
d
k
=
−
g
k
(3)
B_{k} d_{k}=-g_{k}\\tag{3}
Bkdk=−gk(3)
g
k
g_{k}
gk是函数
f
f
f在
x
k
x_{k}
xk处的梯度，在(3)，
B
k
∈
R
n
×
n
B_{k} \\in \\mathrm{R}^{n \\times n}
Bk∈Rn×n 是拟牛顿近似于 Hessian矩阵
∇
2
f
(
x
k
)
\\nabla^{2} f\\left(x_{k}\\right)
∇2f(xk) 在
x
k
x_{k}
xk处的值，其对称，正定。为保证拟牛顿近似包含正确的曲率信息，
B
k
B_{k}
Bk的更新
B
k
+
1
B_{k+1}
Bk+1应满足割线或拟牛顿方程:
B
k
+
1
s
k
=
y
k
(4)
B_{k+1} s_{k}=y_{k}\\tag{4}
Bk+1sk=yk(4)
其中
s
k
=
x
k
+
1
−
x
k
s_{k}=x_{k+1}-x_{k}
sk=xk+1−xk 和
y
k
=
g
k
+
1
−
g
k
y_{k}=g_{k+1}-g_{k}
yk=gk+1−gk. 。
BFGS方法，搜索方向计算为(3),其中
B
k
B_{k}
Bk为Hessian函数的BFGS近似:
B
k
=
B
k
−
1
+
y
k
y
k
⊤
y
k
⊤
s
k
−
B
k
−
1
s
k
s
k
⊤
B
k
−
1
s
k
⊤
B
k
−
1
s
k
(5)
B_k = B_{k-1} + \\frac{y_k y_k^\\top}{y_k^\\top s_k} - \\frac{B_{k-1} s_k s_k^\\top B_{k-1} }{ s_k ^\\top B_{k-1} s_k}\\tag{5}
Bk=Bk−1+yk⊤skykyk⊤−sk⊤Bk−1skBk−1sksk⊤Bk−1(5)
通常，出于实际考虑，(2)中的步长
α
k
\\alpha_{k}
αk是由Wolfe行搜索条件决定的:
f
(
x
k
+
α
k
d
k
)
≤
f
(
x
k
)
+
ρ
α
k
g
(
x
k
)
T
d
k
g
(
x
k
+
α
k
d
k
)
T
d
k
≥
σ
g
(
x
k
)
T
d
k
(6)
\\begin{array}{c} f\\left(x_{k}+\\alpha_{k} d_{k}\\right) \\leq f\\left(x_{k}\\right)+\\rho \\alpha_{k} g\\left(x_{k}\\right)^{T} d_{k} \\\\ g\\left(x_{k}+\\alpha_{k} d_{k}\\right)^{T} d_{k} \\geq \\sigma g\\left(x_{k}\\right)^{T} d_{k} \\end{array}\\tag{6}
f(xk+αkdk运筹学（最优化理论）学习笔记 | 共轭梯度法
无约束优化问题中牛顿法与拟牛顿法四种迭代方法的matlab实现