优化理论11---- Zoutendijk可行方向法非线性约束情形ε起作用约束可行方向法Frank-Wolfe 方法
Posted 炫云云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了优化理论11---- Zoutendijk可行方向法非线性约束情形ε起作用约束可行方向法Frank-Wolfe 方法相关的知识，希望对你有一定的参考价值。
有约束优化—Zoutendijk可行方向法
文章目录
1 基本问题
Zoutendijk可行性方法属于约束优化问题可行方向法中的一种。与之前无约束优化问题中的最速下降法、牛顿法相像。可行方向法:从可行点出发，沿着下降的可行方向进行搜索，求出使目标函数值下降的新的可行点，直到满足终止条件，得到最优解 x ∗ x^* x∗.
基 本 思 想 ： \\large\\color{#70f3ff}{\\boxed{\\color{brown}{基本思想：} }} 基本思想：
在给定一个可行点 x k x^k xk之后，用某种方法确定一个改进的可行方向 d k d^k dk,然后沿方向 d k d^k dk，求解一个有约束的线搜索问题,得极小点 x k + 1 x^{k+1} xk+1，令
x
k
+
1
=
x
k
+
α
k
d
k
(*)
x^{k+1}=x^{k}+\\alpha_k d^k \\tag{*}
xk+1=xk+αkdk(*)
如果仍不是最优解,则重复上述步骤.
不同的可行方向法的主要区别在于，选择可行方向的策略不同,大体上可以分为三类:
- 用求解一个 线 性 规 划 \\large{\\color{cyan}{线性规划} } 线性规划问题来确定,如Zoutendjk方法,Frank-Wolfe方法和Topkis-Veinott方法等;
- 利用 投 影 矩 阵 \\large{\\color{cyan}{投影矩阵} } 投影矩阵来直接构造一个改进的可行方向,如Rosen的梯度投影法和Rosen-Polak方法等;
- 利用 既 约 梯 度 \\large{\\color{cyan}{既约梯度} } 既约梯度 ,直接构造一个改进的可行方向,如Wolfe的既约梯度法及其各种改进,凸单纯形法.
可行方向法是通过直接处理约束问题，得到一个下降可行方向，从而产生一个收敛于线性约束优化问题的KKT点。一般地，求解约束优化问题要比求解无约束优化问题复杂、困难，因为在求解过程中，不仅要使目标函数值单调下降，而且还要保证迭代点满足约束条件。因此，在求解过程中，要求产生的迭代点的搜索方向为下降可行方向。由于这时的约束为线性函数，因而可通过利用线性代数的知识和无约束优化方法来设计一些有效算法。
2 线性约束情形
考虑线性约束问题
( P ) min f ( x ) s.t. A x ≥ b E x = e x ∈ R n (1) \\begin{aligned} (P) ~ ~ ~ \\min &~ ~ ~ f(x)\\\\\\text{s.t.} &~ ~ ~ Ax \\geq b\\\\ &~ ~ ~ Ex = e\\\\ &~ ~ ~x ∈ R^n \\end{aligned}\\tag{1} (P) mins.t. f(x) Ax≥b Ex=e x∈Rn(1)
(1)利用起作用约束构造可行下降方向
定 理 1 \\large\\color{magenta}{\\boxed{\\color{brown}{定理1} }} 定理1设 x x x是问题 ( P ) (P) (P)的可行解,在点 x x x处有 A 1 x = b 1 , A 2 x > b 2 A_1x = b_1,A_2x >b_2 A1x=b1,A2x>b2,其中
A
=
[
A
1
A
2
]
,
b
=
[
b
1
b
2
]
A=\\begin{bmatrix} A_1\\\\ A_2 \\end{bmatrix}, b=\\begin{bmatrix} b_1\\\\ b_2 \\end{bmatrix}
A=[A1A2],b=[b1b2]
则非零向量
d
d
d为
x
x
x处的可行方向的充要条件是
A 1 d ≥ 0 , E d = 0 (2) A_1d≥0~~,~~ Ed =0\\tag2 A1d≥0 , Ed=0(2)
【证明】必要性 :设非零向量
d
d
d 是
x
ˉ
\\bar{x}
xˉ 处的可行方向, 则存在
δ
>
0
,
\\delta>\\mathbf{0},
δ>0, 使得对任意的
α
∈
(
0
,
δ
)
,
x
ˉ
+
α
d
\\alpha \\in(\\mathbf{0}, \\delta), \\bar{x}+\\alpha d
α∈(0,δ),xˉ+αd 仍是可行解。即
A
(
x
ˉ
+
α
d
)
≥
b
,
E
(
x
ˉ
+
α
d
)
=
e
A(\\bar{x}+\\alpha d) \\geq b, E(\\bar{x}+\\alpha d)=e
A(xˉ+αd)≥b,E(xˉ+αd)=e
A
(
x
ˉ
+
α
d
)
=
(
A
1
A
2
)
(
x
ˉ
+
α
d
)
=
(
b
1
+
α
A
1
d
A
2
x
ˉ
+
α
A
2
d
)
≥
(
b
1
b
2
)
A(\\bar{x}+\\alpha d)=\\left(\\begin{array}{l}A_{1} \\\\ A_{2}\\end{array} \\right)(\\bar{x}+\\alpha d)=\\left(\\begin{array}{c}b_{1}+\\alpha A_{1} d \\\\ A_{2} \\bar{x}+\\alpha A_{2} d\\end{array}\\right) \\geq \\left(\\begin{array}{l}b_{1} \\\\ b_{2}\\end{array}\\right)
A(xˉ+αd)=(A1A2)(xˉ+αd)=(b1+αA1dA2xˉ+αA2d)≥(b1b2)
充分性同理可证
因为 α > 0 , \\alpha >0, α>0, 所以 A 1 d ≥ 0. A_{1} d \\geq 0 . A1d以上是关于优化理论11---- Zoutendijk可行方向法非线性约束情形ε起作用约束可行方向法Frank-Wolfe 方法的主要内容，如果未能解决你的问题，请参考以下文章
优化理论03----优化导论和无约束问题的最优条件优化问题的类型局部全局和严格优化梯度和Hessian 黑塞矩阵和方向导数无约束问题的最优条件