如何设置batchsize

Posted 2022-12-14 happytaiyang

batchsize过小：每次计算的梯度不稳定，引起训练的震荡比较大，很难收敛。

batchsize过大：

（1）提高了内存利用率，大矩阵乘法并行计算效率提高。

（2）计算的梯度方向比较准，引起的训练的震荡比较小。

（3）跑完一次epoch所需要的迭代次数变小，相同数据量的数据处理速度加快。

缺点：容易内容溢出，想要达到相同精度，epoch会越来越大，容易陷入局部最优，泛化性能差。

 

batchsize设置：通常10到100，一般设置为2的n次方。

原因：计算机的gpu和cpu的memory都是2进制方式存储的，设置2的n次方可以加快计算速度。