批量梯度下降和随机梯度下降法的缺点
Posted 耗子来啦
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了批量梯度下降和随机梯度下降法的缺点相关的知识，希望对你有一定的参考价值。
更多面试题看这里 面试题总结_耗子来啦的博客-CSDN博客
背景
批量梯度下降法（batch gradient decent）就是我们平时所说的梯度下降，也就是梯度下降过程中，每次更新使用了所有的训练数据，最小化损失函数，找到局部最小值。
当样本量很大的时候，那么更新速度会变慢。假如每次我们只取一个样本更新，这样速度就会快很多。我们每次只取一行样本计算，当成是搜索的方向。
问题解答
批量梯度下降
a）采用所有数据来梯度下降。
b）批量梯度下降法在样本量很大的时候，训练速度慢。
随机梯度下降
a）随机梯度下降用一个样本来梯度下降。
b）训练速度很快。
c）随机梯度下降法仅仅用一个样本决定梯度方向，导致解有可能不是全局最优。
d）收敛速度来说，随机梯度下降法一次迭代一个样本，导致迭代方向变化很大，不能很快的收敛到局部最优解。
以上是关于批量梯度下降和随机梯度下降法的缺点的主要内容，如果未能解决你的问题，请参考以下文章