坐标下降+随机梯度下降

Posted Data+Science+Insight

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了坐标下降+随机梯度下降相关的知识，希望对你有一定的参考价值。

坐标下降+随机梯度下降

 

坐标轴下降法(Coordinate Descent， CD)是一种迭代法，通过启发式的方法一步步的迭代求解函数的最小值，和梯度下降法(GD)不同的时候，坐标轴下降法是沿着坐标轴的方向去下降，而不是采用梯度的负方向下降。

六、坐标轴下降法

回顾： 当加入L1正则项后，由于没法求解出正常的导函数出来(导函数不是连续的)，也就没法使用梯度下降法和拟牛顿法求解参数，此时一般采用坐标轴下降法来进行参数的求解。

以上是关于坐标下降+随机梯度下降的主要内容，如果未能解决你的问题，请参考以下文章

梯度下降法和随机梯度下降法的区别

梯度下降 随机梯度下降 批量梯度下降

梯度下降算法

为啥随机梯度下降方法能够收敛

通过实例详解随机梯度与梯度下降

week10——随机梯度下降，批量梯度下降小批量梯度下降