优化理论07-----拟牛顿法拟牛顿方程对称秩二更新公式BFGSDFSBroyden族Huang’s Family
Posted 炫云云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了优化理论07-----拟牛顿法拟牛顿方程对称秩二更新公式BFGSDFSBroyden族Huang’s Family相关的知识，希望对你有一定的参考价值。
无约束优化-----拟牛顿法
文章目录
- 无约束优化-----拟牛顿法
- 1拟牛顿方程
- 2拟牛顿方法
- 如何获取 H k H_k Hk 或者 B k B_k Bk 呢？
- 对 称 秩 1 更 新 公 式 \\large\\color{#70f3ff}{\\boxed{\\color{brown}{对称秩1更新公式} }} 对称秩1更新公式
- 对 称 秩 二 更 新 公 式 \\large\\color{#70f3ff}{\\boxed{\\color{brown}{对称秩二更新公式} }} 对称秩二更新公式
- B F G S \\large\\color{#70f3ff}{\\boxed{\\color{brown}{BFGS} }} BFGS
- D F S \\large\\color{#70f3ff}{\\boxed{\\color{brown}{DFS} }} DFS
- 例 2 \\Large\\color{violet}{例2} 例2
- 3、Broyden族
- 4 Huang’s Family
- 参考资料
1拟牛顿方程
牛顿法的迭代:
x
k
+
1
=
x
k
−
α
k
G
(
x
k
)
−
1
∇
f
(
x
k
)
(1)
x^{k+1} = x^k - α_kG({x}^k)^{-1} ∇f({x}^k) \\tag{1}
xk+1=xk−αkG(xk)−1∇f(xk)(1)
考虑以下的坏情况:
- 目标函数不是凸的，因此Hessian矩阵 G ( x ) G({x}) G(x)可能不是正定的。
- Hessian矩阵的逆 G ( x ) − 1 G({x})^{-1} G(x)−1不存在。
按照前面Hessian矩阵的介绍，在多自变量情况下，则可将
f
(
x
)
f\\left(x\\right)
f(x)在
x
(
k
+
1
)
x^{\\left(k+1\\right)}
x(k+1)二阶泰勒展开式可写为：
f
(
x
)
≈
f
(
x
(
k
+
1
)
)
+
∇
f
(
x
(
k
+
1
)
)
T
(
x
−
x
(
k
+
1
)
)
+
1
2
(
x
−
x
(
k
+
1
)
)
T
G
(
x
(
k
+
1
)
)
(
x
−
x
(
x
+
1
)
)
(2)
\\begin{aligned} \\\\& f\\left(x\\right) ≈ f\\left(x^{\\left(k+1\\right)}\\right)+∇f({x}^{(k+1)})^{T}\\left(x-x^{\\left(k+1\\right)}\\right)+\\dfrac{1}{2}\\left(x-x^{\\left(k+1\\right)}\\right)^{T} G\\left(x^{\\left(k+1\\right)}\\right)\\left(x-x^{\\left(x+1\\right)}\\right)\\end{aligned} \\tag{2}
f(x)≈f(x(k+1))+∇f(x(k+1))T(x−x(k+1))+21(x−x(k+1))TG(x(k+1))(x−x(x+1))(2)
定义
g
(
x
)
=
∇
f
(
x
)
g(x)=∇f({x})
g(x)=∇f(x),对(2)进行求导，得
g
(
x
)
≈
g
k
+
1
+
G
(
x
(
k
+
1
)
)
(
x
−
x
(
x
+
1
)
)
=
g
k
+
1
+
G
k
+
1
(
x
−
x
(
x
+
1
)
)
\\begin{aligned} \\\\& g(x)≈g^{k+1}+G\\left(x^{\\left(k+1\\right)}\\right)\\left(x-x^{\\left(x+1\\right)}\\right)=g^{k+1}+G_{k+1}\\left(x-x^{\\left(x+1\\right)}\\right)\\end{aligned}
g(x)≈gk+1+G(x(k+1))(x−x(x+1))=gk+1+Gk+1(x−x(x+1))
定义
s
k
=
x
k
+
1
−
x
k
,
y
k
=
g
k
+
1
−
g
k
s^k = x^{k+1}-x^{k},y^k =g^{k+1}-g^k
sk=xk+1−xk,yk=gk+1−gk
然后我们就得到了
y
k
≈
G
k
+
1
s
k
,
s
k
≈
G
k
+
1
−
1
y
k
y^k ≈G_{k+1}s^k , ~~ s^k≈G_{k+1}^{-1}y^k
yk≈Gk+1sk, sk≈Gk+1−1yk
拟牛顿法的基本想法:在牛顿法的迭代中，需要计算Hessian矩阵的逆矩阵
G
(
x
)
−
1
G({x})^{-1}
G(以上是关于优化理论07-----拟牛顿法拟牛顿方程对称秩二更新公式BFGSDFSBroyden族Huang’s Family的主要内容，如果未能解决你的问题，请参考以下文章
常见的几种最优化方法（梯度下降法牛顿法拟牛顿法共轭梯度法等）