训练多个epoch来提高训练模型的准确率

Posted 2022-10-24 算法与编程之美

1 问题

对模型进行训练后，测试集测试的结果与真实值之间的占比称为准确率，准确率往往是评估网络的一个重要指标。而用同一数据集训练神经网络，每次训练得到的准确率结果却不一样并且准确率都较低，最高仅67%，那如何才能提高训练后的准确率呢？

2 方法

模型的参数是随机的，所以导致每次训练出的准确率不一样。虽然每次训练得到的准确率不同，但是都在65%左右，准确率较低。参数优化、数据处理等方法可以提高其准确率，本文采用的方法是训练网络时训练多个epoch（周期）。

def train(dataloader, net, loss_fn, optimizer):    net.train()    for batch_idx, (X,y) in enumerate(dataloader):        pred = net(X)        loss = loss_fn(pred, y)        optimizer.zero_grad()        loss.backward()        optimizer.step() #训练5个周期epoch for epoch in range(5):    train(train_loader, net, loss_fn, optimizer)

结果如下：

可以看到在训练了5个epoch后准确率提高到了79%。

将epoch增加到75时，准确率则提高到了90%。

为什么增加epoch的数量可以提高训练数据集的准确率呢？

epoch中文译为“时期”。1个epoch等于使用训练集中的全部样本训练一次。在神经网络中传递完整的数据集一次是不够的，而且需要将完整的数据集在同样的神经网络中传递多次。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。

随着epoch数量增加，神经网络中的权重的更新次数也在增加，曲线从欠拟合变得过拟合。

因此在一定范围内增加epoch的数量可以提高训练数据集的准确率，不过对于不同的数据集，合适的epoch数量是不一样的，但是数据的多样性会影响合适的epoch的数量。

3 结语

针对提高Minst数据集训练模型的准确率的问题，本文采用了训练多个epoch来提高其准确率，并通过实验验证该方法确能提高准确率，但运行时间会随epoch的数量而增长，且准确率只能达到91%左右，所以只通过增加训练epoch的数量来提高准确率是完全不够的，还需结合参数优化等方法来提高训练模型的准确率。