2020-07-10epoch、iteration、batch_size的关系和选择

Posted 2023-03-09

参考技术A 关系：单次epoch=(全部训练样本/batchsize)/iteration=1

训练集有1000个样本，batchsize=10，那么训练完整个样本集需要：100次iteration，1次epoch（epoch可以很多次）。

iteration：迭代次数

batchsize：整数，指定进行梯度下降时每个batch包含的样本数。训练时一个batch的样本会被计算一次梯度下降，使目标函数优化一步。

epoch：整数，训练的轮数，每个epoch会把训练集轮一遍。

关于 epoch iteration和batchsize

原文： http://blog.csdn.net/sinat_30071459/article/details/50721565

深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别：

 

（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；

（2）iteration：1个iteration等于使用batchsize个样本训练一次；

（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；

 

举个例子，训练集有1000个样本，batchsize=10，那么：

训练完整个样本集需要：

100次iteration，1次epoch。

 

关于batchsize可以看看这里。