记一次d2l_softmax回归中的错误

Posted 2022-02-10 量子智能龙哥

错误代码与现象分析

def train_epoch_ch3(net, train_iter, loss, updater): #@save
    """训练模型一个迭代周期"""
    # 将模型设置为训练模式
    if isinstance(net, torch.nn.Module):
        net.train()
    # 训练损失总和、训练准确度总和、样本数
    metric = Accumulator(3)
    for X, y in train_iter:
        # 计算并更新梯度
        y_hat = net(X)
        l = loss(y_hat, y)
        # 如果是pytorch的优化器
        if isinstance(updater, torch.optim.Optimizer):
            # 使用Pytorch内置的优化器和损失函数
            updater.zero_grad()
            l.sum().backward()
            updater.step()
        else:
            # 使用定制的优化器和损失函数 
            l.sum().backward()
            updater(X.shape[0]) # X.shape[0] 就是指批量的大小，X是一个大的Tensor 18个小的Tensor每个小的Tensor代表一个图片
        metric.add(float(l.sum()), accuracy(y_hat, y), y.numel())
        # 损失/样本数  分类正确的数目/样本数
        return metric[0] / metric[2], metric[1] / metric[2]

训练的结果

模型的精度停留在0.6附近，事实上等价于进行了一次模型调整 ，因为把return写到了for循环里面了！这是个低级错误，导致每一次epoch都在做同一件事情（独立）return的内容都是当前独立的epoch的模型精度的显示。

修正之后

def train_epoch_ch3(net, train_iter, loss, updater): #@save
    """训练模型一个迭代周期"""
    # 将模型设置为训练模式
    if isinstance(net, torch.nn.Module):
        net.train()
    # 训练损失总和、训练准确度总和、样本数
    metric = Accumulator(3)
    for X, y in train_iter:
        # 计算并更新梯度
        y_hat = net(X)
        l = loss(y_hat, y)
        # 如果是pytorch的优化器
        if isinstance(updater, torch.optim.Optimizer):
            # 使用Pytorch内置的优化器和损失函数
            updater.zero_grad()
            l.sum().backward()
            updater.step()
        else:
            # 使用定制的优化器和损失函数 
            l.sum().backward()
            updater(X.shape[0]) # X.shape[0] 就是指批量的大小，X是一个大的Tensor 18个小的Tensor每个小的Tensor代表一个图片
        metric.add(float(l.sum()), accuracy(y_hat, y), y.numel())
        # 损失/样本数  分类正确的数目/样本数
    return metric[0] / metric[2], metric[1] / metric[2]

完美解决！

本质上是Py的语法不够熟悉。