关于Pytorch中accuracy和loss的计算

Posted yqpy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于Pytorch中accuracy和loss的计算相关的知识,希望对你有一定的参考价值。

这几天关于accuracy和loss的计算有一些疑惑,原来是自己还没有弄清楚。

给出实例

def train(train_loader, model, criteon, optimizer, epoch):
    train_loss = 0
    train_acc = 0
    num_correct= 0
    for step, (x,y) in enumerate(train_loader):

        # x: [b, 3, 224, 224], y: [b]
        x, y = x.to(device), y.to(device)

        model.train()
        logits = model(x)
        loss = criteon(logits, y)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        train_loss += float(loss.item())
        train_losses.append(train_loss)
        pred = logits.argmax(dim=1)
        num_correct += torch.eq(pred, y).sum().float().item()
    logger.info("Train Epoch: \t Loss: :.6f\t Acc: :.6f".format(epoch,train_loss/len(train_loader),num_correct/len(train_loader.dataset)))
    return num_correct/len(train_loader.dataset), train_loss/len(train_loader)
  • 首先这样一次训练称为一个epoch,样本总数/batchsize是走完一个epoch所需的“步数”,相对应的,len(train_loader.dataset)也就是样本总数,len(train_loader)就是这个步数。

那么,accuracy的计算也就是在整个train_loader的for循环中(步数),把每个mini_batch中判断正确的个数累加起来,然后除以样本总数就行了;

  • 而loss的计算有讲究了,首先在这里我们是计算交叉熵,关于交叉熵,也就是涉及到两个值,一个是模型给出的logits,也就是10个类,每个类的概率分布,另一个是样本自身的

label,在Pytorch中,只要把这两个值输进去就能计算交叉熵,用的方法是nn.CrossEntropyLoss,这个方法其实是计算了一个minibatch的均值了,因此累加以后需要除以的步数,也就是

minibatch的个数,而不是像accuracy那样是样本个数,这一点非常重要。

以上是关于关于Pytorch中accuracy和loss的计算的主要内容,如果未能解决你的问题,请参考以下文章

keras中accuracy是怎么算出来的,为啥loss下降,accuracy不变甚至减小

在训练时,accuracy不变,loss一直在降低是啥原因

pytorch 查全率 recall 查准率 precision F1调和平均 准确率 accuracy

caffe中accuracy和loss用python从log日志里面获取

PyTorch学习系列——加载数据并生成batch数据

Loss、accuracy、validation loss、Validation accuracy 有啥区别?