优化理论09-----线性等式约束问题的投影方法投影最速下降算法解决方向查找问题(DFP)牛顿法的修正在线性等式约束变度量法

Posted 炫云云

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了优化理论09-----线性等式约束问题的投影方法投影最速下降算法解决方向查找问题(DFP)牛顿法的修正在线性等式约束变度量法相关的知识,希望对你有一定的参考价值。

线性等式约束问题的投影方法

1 回顾最速下降法

无约束最优化问题:
( P )     min ⁡     f ( x ) s.t.     x ∈ R n \\begin{aligned} (P) ~ ~ ~ \\min &~ ~ ~ f(x)\\\\ \\text{s.t.} &~ ~ ~x ∈ R^n \\end{aligned} (P)   mins.t.   f(x)   xRn

其中 f ( x ) f(x) f(x)是可微的。在 x = x ˉ x =\\bar{x} x=xˉ处, f ( x ) f(x) f(x)可以通过线性展开逼近
f ( x ˉ + d ) ≈ f ( x ˉ ) + ∇ f ( x ˉ ) T d f(\\bar{x} + d) ≈ f(\\bar{x}) + ∇f(\\bar{x})^T d f(xˉ+d)f(xˉ)+f(xˉ)Td
为了使d小。这就导致了d的选择,由方向查找问题所决定的:
m i n i m i z e     ∇ f ( x ˉ ) T d s . t .    ∥ d ∥ ≤ 1 , minimize~~~ ∇f(\\bar{x})^T d\\\\ s.t. ~~\\|d\\| ≤ 1, minimize   f(xˉ)Tds.t.  d1,
等于:
m i n i m i z e     ∇ f ( x ˉ ) T d s . t .     d T I d ≤ 1. minimize~~~ ∇f(\\bar{x})^T d\\\\ s.t.~ ~~d^T Id ≤ 1. minimize   f(xˉ)Tds.t.   dTId1.
这个方向查找问题的解决方法为:
d ˉ = − ∇ f ( x ˉ ) ∥ ∇ f ( x ˉ ) ∥ \\bar{d}=\\frac{-∇f(\\bar{x})}{\\|∇f(\\bar{x})\\|} dˉ=f(xˉ)f(xˉ)
因为我们选择了下一步
x ′ = x ˉ + α d ˉ x' = \\bar{x} + α\\bar{d} x=xˉ+αdˉ
对于一些步长尺寸 α α α的选择,那么我们可以简单地将 d ˉ \\bar{d} dˉ方向重新缩放为:
d ˉ = − ∇ f ( x ˉ ) \\bar{d} = −∇f(\\bar{x}) dˉ=f(xˉ)
也就是说,最速下降法方向就是f(x)在 x = x ˉ x =\\bar{x} x=xˉ处的梯度的负值。

2 等式限制问题

现在考虑稍微复杂一点的问题
( P )     min ⁡     f ( x ) s.t.     A x = b     x ∈ R n \\begin{aligned} (P) ~ ~ ~ \\min &~ ~ ~ f(x)\\\\\\text{s.t.} &~ ~ ~ Ax = b\\\\ &~ ~ ~x ∈ R^n \\end{aligned} (P)   mins.t.   f(x)   Ax=b   xRn
其中f(x)是可微的。这个问题的KKT条件如下:
A x ˉ = b ∇ f ( x ˉ ) + A T π ˉ = 0. A\\bar{x}= b \\\\∇f(\\bar{x}) +A^T\\bar{π} = 0. Axˉ=bf(xˉ)+ATπˉ=0.
我们希望找到KKT点。

假设我们在点 x = x ˉ x =\\bar{x} x=xˉ,其中 A x ˉ = b A\\bar{x}= b Axˉ=b,即 x ˉ \\bar{x} xˉ是一个可行点。我们有
f ( x ˉ + d ) ≈ f ( x ˉ ) + ∇ f ( x ˉ ) T d f(\\bar{x} + d) ≈ f(\\bar{x}) + ∇f(\\bar{x})^T d f(xˉ+d)f(xˉ)+f(xˉ)Td
使d小。为了选择 d ˉ \\bar{d} dˉ方向并计算下一个点
x ′ = x ˉ + α d ˉ x' = \\bar{x} + α\\bar{d} x=xˉ+αd以上是关于优化理论09-----线性等式约束问题的投影方法投影最速下降算法解决方向查找问题(DFP)牛顿法的修正在线性等式约束变度量法的主要内容,如果未能解决你的问题,请参考以下文章

优化理论10----约束优化的罚函数法外点法(Penalty method)内点法(**Barrier Methods**)混合惩罚函数法

机器学习之数学03 有约束的非线性优化问题——拉格朗日乘子法KKT条件投影法

约束最优化方法 (一) 最优性条件

优化理论11---- Zoutendijk可行方向法非线性约束情形ε起作用约束可行方向法Frank-Wolfe 方法

【理论】运筹学-线性规划及标准形式

最优化知识笔记整理汇总