深度学习中epoch,batch的概念--笔记

Posted Shuxuan1

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习中epoch,batch的概念--笔记相关的知识,希望对你有一定的参考价值。

深度学习中epoch,batch的概念

batch、epoch和iteration是深度学习中几个常见的超参数。

(1) batch_ size: 每批数据量的大小。DL通常用SGD的优化算法进行训练,也就是一次(1 个iteration) 一起训练batchsize个样本,计算它们的平均损失函数值,来更新参数。
(2) iteration: 1 个iteration即迭代一次,也就是用batchsize个样本训练一次。
(3) epoch: 1个epoch指用训练集中的全部样本训练一次。

比如,有100个训练数据,batch_size为20,也就是每次(一个iteration)拿20个数据做训练,训练五个iteration就是一个epoch。

最初训练DNN采用一次对全体训练集中的样本进行训练(即使用1个epoch),并计算一次损失函数值,来更新一次权值。当时数据集较
小,该方法尚可。后来随着数据集迅速增大,导致这种方法一次开销大进而占用内存过大,速度过慢。
后来产生了一次只训练一个样本的方法(batchsize=1) ,称作在线学习。该方法根据每一个样本的情况更新一次权值,开销小速度快,但收
到单个样本的巨大随机性,全局来看优化性能较差,收敛速度很慢, 产生局部震荡,有限迭代次数内很可能无法收敛。
目前常用随机梯度下降SGD来训练,相当于上述两个“极端”方法的折中:将训练集分成多个mini batch (即常说的batch) ,一次迭代训练一个minibatch ( 即batchsize个样本),根 据该batch数据的loss更新权值。这相比于全数据集训练,相当于是在寻找最优时人为增加了一些随机噪声,来修正由局部数据得到的梯度,尽量避免因batchsize过大陷入局部最优。
这种方法存在两对矛盾。由于一次只分析的一小部分数据,因此整体优化效果与batchsize有关:
batchsize越小,一个batch中的随机性越大,越不易收敛。然而batchsize越小, 速度越快,权值更新越频繁;且具有随机性,对于非凸损失函数来讲,更便于寻找全局最优。从这个角度看,收敛更快,更容易达到全局最优。
batchsize越大,越能够表征全体数据的特征,其确定的梯度下降方向越准确,(因此收敛越快), 且迭代次数少,总体速度更快。然而大的batchsize相对来讲缺乏随机性,容易使梯度始终向单一方向下降, 陷入局部最优; 而且当batchsize增大到一定程度,再增大batchsize, 一次batch产 生的权
值更新(即梯度下降方向)基本不变。因此理论上存在一个最合适的batchsize值,使得训练能够收敛最快或者收敛效果最好(全局最优点)。

以上是关于深度学习中epoch,batch的概念--笔记的主要内容,如果未能解决你的问题,请参考以下文章

深度学习中epoch,batch的概念--笔记

深度学习基础Epoch, Batch, Iteration这三个概念的区别与联系

tensorflow学习笔记--深度学习中的epochs,batch_size,iterations详解

tensorflow学习笔记--深度学习中的epochs,batch_size,iterations详解

深度学习概念之Epoch,Batch Size和Iterations

BatchIteration and Epoch