漫步最优化四十一——Powell法(下)

Posted 2022-11-21 会敲键盘的猩猩

$\\textbf四季交替，$
$\\textbf光阴推动了变更，$
$\\textbf但你一直印在我心。$
$\\textbf遇见你的那天，$
$\\textbf心似击鼓般兴奋，$
$\\textbf呼吸似乎都有了震音。$
$\\textbf想你想的入神，$
$\\textbf想你充满能量，$
$\\textbf想你醒了也像晕了，$
$\\textbf想你不由自主的笑了。$
$\\textbf——畅宝宝的傻逼哥哥$

对于步骤1， $\\mathbfd_01,\\mathbfd_02,\\ldots,\\mathbfd_0n$为坐标方向。对于步骤2， $f(\\mathbfx)$沿着 $\\mathbfx_k0,\\mathbfx_k1,\\ldots,\\mathbfx_kn$最小化。对于步骤3， $f(\\mathbfx)$在新的共轭方向最小化，对于凸二维问题来说，该算法搜索模式如图4所示。

Powell算法的主要优点是不需要海森矩阵，更进一步，通过使用基于线搜索的一维算法，梯度也不需要。

但是Powell算法有时候不一定线性无关，这样的话生成的方向集无法生成$E^n$，即便是凸二次问题也存在这样的情况，如果第二步中最小化$f(\\mathbfx_k(j-1)+\\alpha\\mathbfd_kj)$时存在某个$j$使得$\\alpha_kj=0$，就会导致这样的情况。这时候步骤三将得到

$$\\mathbfd_k(n+1)=\\sum_\\substacki=1\\\\i\\neq j^n\\alpha_ki\\mathbfd_ki$$

即新生成的方向不包含$\\mathbfd_kj$，因为$\\mathbfd_kj$别舍弃掉了，这样的$n$个方向集合无法张成$E^n$，这就意味着至少有两个方向是线性相关的，这样的话算法无法收敛到问题的解。

上面的问题可以被避免到，那就是如果出现线性相关，那么下次迭代的话我们不改变方向集，然后得到新的共轭方向。因为下次迭代的时候我们是从新的点$\\mathbfx_k$开始的，所以是可能产生新的方向的。

图4

原则上如果至少有一个 $\\alpha_ki$为零，那么将产生线性相关。不幸的是，由于计算机精度有限， $\\alpha_ki$的值不可能为零，所以检查 $\\alpha_ki</<p>以上是关于漫步最优化四十一——Powell法(下)的主要内容，如果未能解决你的问题，请参考以下文章</p> <p > <a style="color:blue;" href="https://it.cha138.com/android/show-58851.html">漫步最优化四十——Powell法(上)</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/mysql/show-892078.html">漫步最优化四十——Powell法(上)</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/android/show-56782.html">漫步最优化四十二——Partan法</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/nginx/show-630655.html">漫步最优化四十二——Partan法</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/javascript/show-92587.html">漫步最优化三十一——梯度法</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/jingpin/show-165981.html">优化理论17----wolfe_Powell准则Wo1fe-Powell搜索法</a></p> </article> </div> </div> </div> </section> </div> </div> <script type="text/javascript" src="https://it.cha138.com/skin/m03sred/style/js/fixit.js">$