记一次d2l_softmax回归中的错误

Posted 量子智能龙哥

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了记一次d2l_softmax回归中的错误相关的知识,希望对你有一定的参考价值。

错误代码与现象分析

def train_epoch_ch3(net, train_iter, loss, updater): #@save
    """训练模型一个迭代周期"""
    # 将模型设置为训练模式
    if isinstance(net, torch.nn.Module):
        net.train()
    # 训练损失总和、训练准确度总和、样本数
    metric = Accumulator(3)
    for X, y in train_iter:
        # 计算并更新梯度
        y_hat = net(X)
        l = loss(y_hat, y)
        # 如果是pytorch的优化器
        if isinstance(updater, torch.optim.Optimizer):
            # 使用Pytorch内置的优化器和损失函数
            updater.zero_grad()
            l.sum().backward()
            updater.step()
        else:
            # 使用定制的优化器和损失函数 
            l.sum().backward()
            updater(X.shape[0]) # X.shape[0] 就是指批量的大小,X是一个大的Tensor 18个小的Tensor每个小的Tensor代表一个图片
        metric.add(float(l.sum()), accuracy(y_hat, y), y.numel())
        # 损失/样本数  分类正确的数目/样本数
        return metric[0] / metric[2], metric[1] / metric[2]

训练的结果

模型的精度停留在0.6附近,事实上等价于进行了一次模型调整 ,因为把return写到了for循环里面了!这是个低级错误,导致每一次epoch都在做同一件事情(独立)return的内容都是当前独立的epoch的模型精度的显示。

修正之后

def train_epoch_ch3(net, train_iter, loss, updater): #@save
    """训练模型一个迭代周期"""
    # 将模型设置为训练模式
    if isinstance(net, torch.nn.Module):
        net.train()
    # 训练损失总和、训练准确度总和、样本数
    metric = Accumulator(3)
    for X, y in train_iter:
        # 计算并更新梯度
        y_hat = net(X)
        l = loss(y_hat, y)
        # 如果是pytorch的优化器
        if isinstance(updater, torch.optim.Optimizer):
            # 使用Pytorch内置的优化器和损失函数
            updater.zero_grad()
            l.sum().backward()
            updater.step()
        else:
            # 使用定制的优化器和损失函数 
            l.sum().backward()
            updater(X.shape[0]) # X.shape[0] 就是指批量的大小,X是一个大的Tensor 18个小的Tensor每个小的Tensor代表一个图片
        metric.add(float(l.sum()), accuracy(y_hat, y), y.numel())
        # 损失/样本数  分类正确的数目/样本数
    return metric[0] / metric[2], metric[1] / metric[2]

完美解决!

本质上是Py的语法不够熟悉。 

以上是关于记一次d2l_softmax回归中的错误的主要内容,如果未能解决你的问题,请参考以下文章

这是多类回归的一个很好的对数损失吗?

多输出 Keras 的回归损失函数

损失:执行回归时 Keras 中的 NaN

记一次使用Tensorflow搭建神经网络模型经历

机器学习:随机梯度下降法(线性回归中的应用)

Pytorch 线性回归损失增加