优化理论03----优化导论和无约束问题的最优条件优化问题的类型局部全局和严格优化梯度和Hessian 黑塞矩阵和方向导数无约束问题的最优条件
Posted 炫云云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了优化理论03----优化导论和无约束问题的最优条件优化问题的类型局部全局和严格优化梯度和Hessian 黑塞矩阵和方向导数无约束问题的最优条件相关的知识，希望对你有一定的参考价值。
优化导论和无约束问题的最优条件
文章目录
1 优化问题的类型
无约束最优化问题:
(
P
)
min
f
(
x
)
s.t.
x
∈
X
⊆
R
n
(1)
\\begin{aligned} (P) ~ ~ ~ \\min &~ ~ ~ f(x)\\\\ \\text{s.t.} &~ ~ ~x ∈ X ⊆ R^n \\end{aligned}\\tag{1}
(P) mins.t. f(x) x∈X⊆Rn(1)
约束优化问题:
(
P
)
min
f
(
x
)
s.t.
g
i
(
x
)
≤
0
,
i
=
1
,
…
,
m
h
j
(
x
)
=
0
,
j
=
1
,
…
,
p
x
∈
X
⊆
R
n
(2)
\\begin{aligned} (P) ~ ~ ~ \\min &~ ~ ~ f(x)\\\\ \\text{s.t.} &~~ ~ g_i(x) \\leq 0,~ i = 1, \\ldots, m\\\\ &~ ~ ~ h_j(x) = 0, j = 1,~ \\ldots, p\\\\ &~ ~ ~ x ∈ X ⊆ R^n \\end{aligned}\\tag{2}
(P) mins.t. f(x) gi(x)≤0, i=1,…,m hj(x)=0,j=1, …,p x∈X⊆Rn(2)
其中向量
x
=
(
x
1
,
.
.
.
,
x
n
)
x=(x_1,...,x_n)
x=(x1,...,xn)称为优化问题的变量（optimization variables），函数
f
:
R
n
→
R
f:\\quad \\textbf{R}^n \\rightarrow \\textbf{R}
f:Rn→R为目标函数（objective function），函数
g
i
,
h
j
:
R
n
→
R
g_i,h_j: \\quad \\textbf{R}^n \\rightarrow \\textbf{R}
gi,hj:Rn→R称为约束函数（constraint functions）.
优化问题的形式如下：
（
P
）
min
f
(
x
)
s.t.
g
(
x
)
≤
0
,
h
(
x
)
=
0
,
x
∈
X
(3)
\\begin{aligned}（P）~ ~ ~\\min &~ ~ ~ f(x)\\\\ \\text{s.t.} &~~ ~ g (x) \\leq 0, \\\\ &~ ~ ~ h (x) = 0, \\\\ &~ ~ ~ x \\in X \\end{aligned}\\tag{3}
（P） mins.t. f(x) g(x)≤0, h(x)=0, x∈X(3)
表示可行集:
X
=
{
x
∣
g
(
x
)
≤
0
,
h
(
x
)
=
0
}
X=\\{x \\mid g(x) \\leq 0, h(x)=0\\}
X={x∣g(x)≤0,h(x)=0} (or
F
)
\\mathcal{F})
F).
(3)
⟺
min
f
(
x
)
s.t.
x
∈
X
(
or
F
)
.
\\text { (3) } \\Longleftrightarrow \\min f(x) \\text { s.t. } x \\in X(\\text { or } \\mathcal{F}) \\text { . }
(3) ⟺minf(x) s.t. x∈X( or F) .
我们说
x
x
x是
(
P
)
(P)
(P) 的一个可行解,满足
g
(
x
)
≤
0
,
h
(
x
)
=
0
g(x) \\leq 0, h(x)=0
g(x)≤0,h(x)=0
2局部、全局和严格优化
圆心为x，半径为
ε
\\varepsilon
ε的球:
B
(
x
ˉ
,
ε
)
:
=
{
x
∣
∣
∣
x
−
x
ˉ
∣
∣
≤
ε
}
.
B(\\bar{x}, \\varepsilon) := \\{x| ~ ~ || x-\\bar{x} ||≤ \\varepsilon\\}.
B(xˉ,ε):={x∣ ∣∣x−xˉ∣∣≤ε}.
考虑以下关于集合
F
F
F的优化问题
（
P
）
m
i
n
o
r
m
a
x
f
(
x
)
s.t.
x
∈
F
⊆
R
n
\\begin{aligned}（P）~ ~ ~min~ ~ or ~ ~max &~ ~ ~ f(x)\\\\ \\text{s.t.} &~~ ~ x \\in F ⊆ R^n\\\\ \\end{aligned}
（P） min or maxs.t. f(x) x∈F⊆Rn
我们有以下局部/全局、非严格极小/极大值的定义
定 义 2.1 \\large\\color{#70f3ff}{\\boxed{\\color{brown}{定义2.1} }} 定义2.1 对于所有的 y ∈ B ( x , ε ) ∩ F y∈B({x}, \\varepsilon)∩F y∈B(x,ε)∩F，若存在可使其 F ( x ) ≤ F ( y ) F (x)≤F (y) F(x)≤F(y)，则 x ∈ F x∈F x∈F为 ( P ) (P) (P)的局部最小值。
定 义 2.2 \\large\\color{#70f3ff}{\\boxed{\\color{brown}{定义2.2} }} 定义2.2对于所有 y ∈ F y∈F y∈F，如果 F ( x ) ≤ F ( y ) F (x)≤F (y) F(x)≤F(y)，则 x ∈ F x∈F x∈F是 ( P ) (P) (P)的全局最小值。
定
义
2.3
\\large\\color{#70f3ff}{\\boxed{\\color{brown}{定义2.3} }}
定义2.3 对于所有的
y
∈
B
(
x
,
ε
)
∩
F
，
y
≠
x
y∈B({x}, \\varepsilon)∩F，y\\neq x
y∈B(x,ε)∩F，y=x，若存在可使其
F
(
x
)
<
F
(
y
)
F (x)<F (y)