漫步最优化三十八——非二次函数最小化

Posted 2023-02-28 会敲键盘的猩猩

$\\textbf你独一无二的声音，$
$\\textbf穿越了繁杂喧嚣，$
$\\textbf回荡在我的脑中。$
$\\textbf你独一无二的声音，$
$\\textbf如一根漂亮的丝线，$
$\\textbf牵引着我的内心。$
$\\textbf你独一无二的声音，$
$\\textbf唱出了真实的你，$
$\\textbf成为我心中的一首歌，$
$\\textbfYou are the music in me.$
$\\qquad\\textbf——畅宝宝的傻逼哥哥$

与牛顿法一样，共轭方向法也是来自于凸二次问题，但是既能用于二次问题也能用于非二次问题。基本的假设是在不断的迭代过程中，目标函数一直在减小，那么我们能够达到解的邻域。如果解的附近 $\\mathbfH$是正定的，那么原则上来讲最多 $n$次迭代就能收敛，为此共轭方向与牛顿法一样是二次终止的，收敛的速度是二次的，即收敛阶数为二。

对于非二次问题，共轭方向有时候会比较低效，尤其是初始点远离解的时候。这时候前面不可靠的数据会累积到当前的方向向量，这是因为它们是基于过去的方向进行计算的。对于这种情况，解的轨迹可能在参数空间的次优区域徘徊，进展会变慢。这个问题是可以克服的，那就是周期性的重新初始化，也就是每$n$次迭代后重新初始化，这样就消除了前面不可靠的信息。大多数情况下当前方向累积的信息是比较可靠的，抛弃他们可能增加运算量，但是不管怎样，这样做增加了算法的鲁棒性，所以这点代价是值得的。