漫步最优化三十八——非二次函数最小化

Posted 会敲键盘的猩猩

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了漫步最优化三十八——非二次函数最小化相关的知识,希望对你有一定的参考价值。



穿


线




You are the music in me.
——

与牛顿法一样,共轭方向法也是来自于凸二次问题,但是既能用于二次问题也能用于非二次问题。基本的假设是在不断的迭代过程中,目标函数一直在减小,那么我们能够达到解的邻域。如果解的附近 H 是正定的,那么原则上来讲最多 n 次迭代就能收敛,为此共轭方向与牛顿法一样是二次终止的,收敛的速度是二次的,即收敛阶数为二。

对于非二次问题,共轭方向有时候会比较低效,尤其是初始点远离解的时候。这时候前面不可靠的数据会累积到当前的方向向量,这是因为它们是基于过去的方向进行计算的。对于这种情况,解的轨迹可能在参数空间的次优区域徘徊,进展会变慢。这个问题是可以克服的,那就是周期性的重新初始化,也就是每n次迭代后重新初始化,这样就消除了前面不可靠的信息。大多数情况下当前方向累积的信息是比较可靠的,抛弃他们可能增加运算量,但是不管怎样,这样做增加了算法的鲁棒性,所以这点代价是值得的。

以上是关于漫步最优化三十八——非二次函数最小化的主要内容,如果未能解决你的问题,请参考以下文章

漫步最优化三十一——梯度法

漫步最优化二十八——三次插值法

漫步最优化三十五——共轭

漫步最优化三十三——牛顿法

漫步最优化三十四——高斯-牛顿法

漫步最优化三十——非精确线搜索