优化理论17----wolfe_Powell准则Wo1fe-Powell搜索法
Posted 炫云云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了优化理论17----wolfe_Powell准则Wo1fe-Powell搜索法相关的知识，希望对你有一定的参考价值。
不精确一维搜索——Wolfe-Powell搜索法
最优化知识笔记整理汇总，超级棒
Armijo-Goldstein 准则的不足
Armijo-Goldstein 准则有可能把最优步长排除在可接受区间外面．如下图所示：
Armijo-Goldstein准则可能会把极小值点（可接受的区间）判断在区间bc内。显而易见，区间bc是有可能把极小值排除在外的（极小值在区间eb内）。
Wolfe-Powell准则
为此，Wolfe-Powell给出了一个更简单的条件代替
(
1
)
(1)
(1).
f
(
x
k
+
λ
k
d
k
)
−
f
(
x
k
)
≥
λ
k
(
1
−
ρ
)
g
k
T
d
k
(1)
\\begin{array}{l} f\\left(x^{k}+\\lambda_{k} d^{k}\\right)-f\\left(x^{k}\\right) \\geq \\lambda_{k}(1-\\rho) g_{k}^{T} d^{k}\\\\ \\end{array}\\tag1
f(xk+λkdk)−f(xk)≥λk(1−ρ)gkTdk(1)
g k + 1 T d k ≥ σ g k T d k , σ ∈ ( ρ , 1 ) (2) \\begin{array}{l} g_{k+1}^{T} d^{k} \\geq \\sigma g_{k}^{T} d^{k}, \\sigma \\in(\\rho, 1)\\\\ \\end{array}\\tag2 gk+1Tdk≥σgkTdk,σ∈(ρ,1)(2)
即
φ
′
(
λ
k
)
=
∇
f
(
x
k
+
λ
k
d
k
)
T
d
k
≥
σ
∇
f
(
x
k
)
T
d
k
=
σ
φ
′
(
0
)
(3)
\\begin{array}{l} \\varphi^{\\prime}\\left(\\lambda_{k}\\right)=\\nabla f\\left(x^{k}+\\lambda_{k} d^{k}\\right)^{T} d^{k} \\geq \\sigma \\nabla f\\left(x^{k}\\right)^{T} d^{k}=\\sigma \\varphi^{\\prime}(0) \\end{array}\\tag3
φ′(λk)=∇f(xk+λkdk)Tdk≥σ∇f(xk)Tdk=σφ′(0)(3)
这就是Wolfe-Powell准则，即
λ
k
\\lambda_k
λk要满足
f
(
x
k
+
λ
k
d
k
)
−
f
(
x
k
)
≤
λ
k
ρ
g
k
T
d
k
(4)
\\begin{array}{l} f\\left(x^{k}+\\lambda_{k} d^{k}\\right)-f\\left(x^{k}\\right) \\leq \\lambda_{k} \\rho g_{k}^{T} d^{k} \\\\ \\end{array}\\tag4
f(xk+λkdk)−f(xk)≤λkρgkTdk(4)
g
k
+
1
T
d
k
≥
σ
g
k
T
d
k
,
σ
∈
(
ρ
,
1
)
(5)
g_{k+1}^{T} d^{k} \\geq \\sigma g_{k}^{T} d^{k}, \\sigma \\in(\\rho, 1)\\tag5
gk+1Tdk≥σgkTdk,σ∈(ρ,1)(5)
其中
0
<
ρ
<
1
,
ρ
<
σ
<
1
0<\\rho<1, \\rho<\\sigma<1
0<ρ<1,ρ<σ<1
即
λ
k
\\lambda_{k}
λk 要满足
φ
(
λ
k
)
≤
φ
(
0
)
+
ρ
λ
k
φ
′
(
0
)
\\varphi\\left(\\lambda_{k}\\right) \\leq \\varphi(0)+\\rho \\lambda_{k} \\varphi^{\\prime}(0)
φ(λk)≤φ(0)+ρλkφ′(0)
和
φ
′
(
λ
k
)
≥
σ
φ
′
(
0
)
\\varphi^{\\prime}\\left(\\lambda_{k}\\right) \\geq \\sigma \\varphi^{\\prime}(0)
φ′(λk)≥σφ′(0)
Wolfe-Powell搜索法
计算 λ k \\lambda_k λk的步骤：
【1】选取初始数据
在搜索区间 [ 0 , ∞ ) [0, \\infty) [0,∞) 或 ( [ 0 , λ max ] ) \\left(\\left[0, \\lambda_{\\max }\\right]\\right) ([0,λmax])上取定初始探测点 λ 0 \\lambda_0 λ0，计算 f ( 0 ) , f ′ ( 0 ) f(0), f^{\\prime}(0) f(0),f′(0) ，给出可接受系数 0 < ρ < 1 , ρ < σ < 1 0 < \\rho < 1,\\rho< \\sigma < 1 0<ρ<1,ρ<σ<1 ，增大探索点系数 α > 1 \\alpha>1 α>1 ，令 a 0 = 0 , b 0 = + ∞ a_{0}=0, b_{0}=+\\infty a0=0,b最优化建模算法理论之Goldstein准则（数学原理及MATLAB实现）
Wolfe准则(数学原理及MATLAB实现)——最优化建模算法与理论
最优化建模算法理论之Wolfe准则（数学原理及MATLAB实现）