漫步最优化四十二——Partan法
Posted 会敲键盘的猩猩
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了漫步最优化四十二——Partan法相关的知识,希望对你有一定的参考价值。
漆黑的冷空中有你,
惺忪的眼睛中有你,
心底的记忆中有你,
你留在我的脑海中,
一直这么挥之不去。
无论哪时哪刻,
心中都想着你的笑,
想着你到我侧相拥,
I can dream about you.
——畅宝宝的傻逼哥哥
在早期的最优化中,对于两变量函数来说,用最速下降法得出的解轨迹表征出zig-zag模式。对于某些性质较好的函数,相邻的解差不多组成两条线,他们在最小值的邻域内相交,如图1所示,因此比较明显的策略是连接初始点与第二个解,沿着这个方向执行最速下降法。对于凸二次函数,在 n 次迭代内就能收敛,这个方法也被称为parallel tangent法或着partan法,这是因为在二次函数的情况下,所得轮廓的正切属性。
图1
Partan算法如图2所示,假设初始点为
图2
对于凸二次问题,连接 x1,x2,…,xk 的线组成一个共轭梯度方向集,可以通过以下方法来证明:先假设 d0,d1,…,dk−1 是共轭梯度方向集,然后说明 dk 是 d0,d1,…,dk−1 的共轭梯度方向。
考虑图3所示的步骤,注意到