提升网络训练的准确率

Posted 算法与编程之美

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了提升网络训练的准确率相关的知识,希望对你有一定的参考价值。

1 问题

模型训练结果的准确率只有百分之60多,因此需要提升准确率。

2 方法

mnist 数据集有60000张图片作为训练数据,10000张图片作为测试数据。假设现在选择 Batch_Size = 100对模型进行训练。迭代30000次。

  • 每个 Epoch 要训练的图片数量:60000(训练集上的所有图像)

  • 训练集具有的 Batch 个数:60000 / 100 = 600

  • 每个 Epoch 需要完成的 Batch 个数:600

  • 每个 Epoch 具有的 Iteration 个数:600(完成一个Batch训练,相当于参数迭代一次)

  • 每个 Epoch 中发生模型权重更新的次数:600(一次训练包含正向+反向,反向就是一次权重更新)

  • 训练 10 个Epoch后,模型权重更新的次数:10 * 600 = 6000

  • 总共完成30000次迭代,相当于完成了个Epoch

不同Epoch的训练,其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的图片,但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置,模型的训练代越靠后,越接近谷底,其代价越小。

3 结语

一个时期=所有训练样本的一个正向传递和一个反向传递。也即所有的数据进行了一次完整的训练。当数据量十分大的时候,一次性投入训练效果往往会变差,为此需要对数据进行分批次的训练,用epoch进行周期训练达到提升准确率的目的。

以上是关于提升网络训练的准确率的主要内容,如果未能解决你的问题,请参考以下文章

抛弃归一化,图像识别模型准确率达到了SOTA,训练速度也提升了8.7倍

TensorFlow训练MNIST数据集 —— 卷积神经网络

深度神经网络模型训练中的 tricks(原理与代码汇总)

ResNet网络

你想知道的深度神经网络模型训练中的 tricks都在这里了

VGG总结