漫步最优化三十八——非二次函数最小化
Posted 会敲键盘的猩猩
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了漫步最优化三十八——非二次函数最小化相关的知识,希望对你有一定的参考价值。
你独一无二的声音,
穿越了繁杂喧嚣,
回荡在我的脑中。
你独一无二的声音,
如一根漂亮的丝线,
牵引着我的内心。
你独一无二的声音,
唱出了真实的你,
成为我心中的一首歌,
You are the music in me.
——畅宝宝的傻逼哥哥
与牛顿法一样,共轭方向法也是来自于凸二次问题,但是既能用于二次问题也能用于非二次问题。基本的假设是在不断的迭代过程中,目标函数一直在减小,那么我们能够达到解的邻域。如果解的附近 H 是正定的,那么原则上来讲最多 n 次迭代就能收敛,为此共轭方向与牛顿法一样是二次终止的,收敛的速度是二次的,即收敛阶数为二。
对于非二次问题,共轭方向有时候会比较低效,尤其是初始点远离解的时候。这时候前面不可靠的数据会累积到当前的方向向量,这是因为它们是基于过去的方向进行计算的。对于这种情况,解的轨迹可能在参数空间的次优区域徘徊,进展会变慢。这个问题是可以克服的,那就是周期性的重新初始化,也就是每
以上是关于漫步最优化三十八——非二次函数最小化的主要内容,如果未能解决你的问题,请参考以下文章