最小二乘法+牛顿法+拟牛顿法+梯度下降法+梯度上升法+共轭梯度法

Posted 2021-05-21 Data+Science+Insight

最小二乘法+牛顿法+拟牛顿法+梯度下降法+梯度上升法+共轭梯度法

 

最小二乘法+牛顿法+拟牛顿法+梯度下降法+梯度上升法+共轭梯度法

上述几种方法，除了最小二乘法是直接使用公式取得之外，另外几种方法都是使用迭代法进行求解。

梯度下降法主要沿着负梯度方向进行更新，只引入了一阶导数。

牛顿法则将一阶导数和二阶导数相结合进行参数的迭代更新，但是其二阶导数矩阵涉及到海瑟矩阵求逆，复杂度较高，因此基于牛顿法之上，出现了拟牛顿法，其主要思想是构造一个新的矩阵来近似替代海瑟矩阵的逆，这样可以避免牛顿法中的复杂的海瑟矩阵求逆操作。