漫步最优化四十——Powell法(上)

Posted 2023-02-22 会敲键盘的猩猩

$\\textbf平凡无所谓，$
$\\textbf平淡无所谓，$
$\\textbf但求每天早晨能望见你，$
$\\textbf这已经足够满足。$
$\\textbf身边的一切如风，$
$\\textbf而你让我有了根，$
$\\textbf就让我爱你多些，$
$\\textbf再多些，甚至满泻，$
$\\textbf与你一生一世。$
$\\textbf——畅宝宝的傻逼哥哥$

过去使用最广泛的共轭方向法是由Powell提出来的，这个方法与共轭梯度法一样，开始也是来自凸二次问题，但是它也成功应用于非二次问题。

Powell法最显著的特征就是通过一系列线搜索生成共轭方向，所用的技术基于下面的定理：

$\\textbf定理1：$如果凸二次问题

$$f(\\mathbfx)=a+\\mathbfx^T\\mathbfb+\\frac12\\mathbfx^T\\mathbfHx$$

在直线

$$\\mathbfx=\\mathbfx_a+\\alpha\\mathbfd_a$$

与

$$\\mathbfx=\\mathbfx_b+\\alpha\\mathbfd_b$$

上分别对$\\alpha$最小化，得到的最小点分别为$\\mathbfx_a^*,\\mathbfx_b^*$，如图1所示。

如果$\\mathbfd_b=\\mathbfd_a$，那么向量$\\mathbfx_b^*-\\mathbfx_a^*$与$\\mathbfd_a$(或者$\\mathbfd_b$)共轭。

$\\textbf证明：$如果$f(\\mathbfx_a+\\alpha\\mathbfd_a),f(\\mathbfx_b+\\alpha\\mathbfd_b)$对$\\alpha$最小化，那么

df(xa+αda)dα=dTag(x∗a)=0df(xb+αdb)d以上是关于漫步最优化四十——Powell法(上)的主要内容，如果未能解决你的问题，请参考以下文章

漫步最优化四十一——Powell法(下)

漫步最优化四十一——Powell法(下)

漫步最优化四十二——Partan法

漫步最优化四十二——Partan法

优化理论17----wolfe_Powell准则Wo1fe-Powell搜索法

[理论篇]深度理解Powell优化算法