高斯牛顿法的介绍

Posted 2023-05-01

参考技术A

高斯—牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。

梯度下降法和牛顿法的总结与比较

1.牛顿法：是通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。

　　　　　　　收敛速度很快。

　　　　　　　海森矩阵的逆在迭代过程中不断减小，可以起到逐步减小步长的效果。

　　　　　　　缺点：海森矩阵的逆计算复杂，代价比较大，因此有了拟牛顿法。

　　2.梯度下降法：是通过梯度方向和步长，直接求解目标函数的最小值时的参数。

　　　　　　　　　越接近最优值时，步长应该不断减小，否则会在最优值附近来回震荡。