深度学习中batch-size介绍

Posted 2022-07-30 17岁boy想当攻城狮

诞生概念

batch-size中文翻译是批量大小，所谓的批量是指学习样本的数量，因为在训练模型时需要将样本图像全部读入到内存中，这么做的原因是提升收敛速度。

如果每次读一个图像到内存然后提取特征然后在取下一张，这样有一个问题：深度学习中是随机取样本，并且每次从磁盘读出来也挺耗时的，如果这次是一张图像，下次随机取样本不能保证图像不会重复，所以最好的方式是一次性将图像全部读入内存中然后进行特征提取。

但是这样就会出现一个问题，那就是内存原因，如果样本过多的情况下内存会被塞满，那么就需要一个参数来控制它，一次读内存的大小，如一次读多少张样本进来，那么这个参数就是由Batch-size来控制。

如你的样本是500张，那么Batch-Size大小是250张，那么每次会随机抽250张照片到内存里来进行特征提取，虽然也会有重复性，但是比起一张张的读这样的效率是大大提升的，收敛速度变快了，因为在深度学习中认为从内存中读一次算一次训练，如果你从磁盘读一张上来然后提取样本后就会将这个特征写入神经元，这样的话局部权重可靠性会下降，所以最好的方式是每次读特定大小的图像进行一次特征提取是最好的，因为特征越多权重越可靠。