有关梯度下降法及其优化算法的资源总结

Posted 2020-10-19 yanmk

1.梯度下降法的三种形式Batch Gradient Desecnt、Stochastic Gradient Desecnt、Min-Batch Gradient Desecnt及其总结

详见：Poll的笔记 写的非常清楚，看一看就能明白

2.关于梯度下降的优化算法

详见：机器之心深度解读最流行的优化算法：梯度下降

英文版见：Sebastian Ruder博士写的《An overview of gradient descent optimization algorithms》

3. 关于SGD+momentum中两种形式的理解，其实是一回事

详见：SGD+momentum中两种形式的理解