Pytorch学习01-训练图像分类器

Posted 2021-09-12 深度不学习-_-

提示：原始链接：点这里

文章目录

• 前言
• 一、训练图像分类器
• • 1. 加载数据集
  • 2. 定义卷积神经网络
  • 3. 定义损失函数和优化器
  • 4. 训练网络
  • 5. 根据测试数据测试网络
• 总结

---

前言

  提示：本篇博客主要是记录pytorch的学习过程，当作是一个笔记来使用。
  本篇内容：训练图像分类器，步骤如下：

1. 使用torchvision加载并标准化 CIFAR10 训练和测试数据集
2. 定义卷积神经网络
3. 定义损失函数
4. 根据训练数据训练网络
5. 在测试数据上测试网络

---

一、训练图像分类器

  当我们必须处理图像，文本，音频或视频数据时，可以使用 NumPy 加载数据。 然后，可以将该数组转换为torch.*Tensor。

• 对于图像，Pillow，OpenCV 等包很有用
• 对于音频，请使用 SciPy 和 librosa 等包
• 对于文本，基于 Python 或 Cython 的原始加载，或者 NLTK 和 SpaCy 很有用

  针对视觉，我们创建了一个名为 torchvision 的包，其中包含用于常见数据集（例如 Imagenet，CIFAR10，MNIST 等）的数据加载器，以及用于图像（即 torchvision.datasets和torch.utils.data.DataLoader）的数据转换器。

# 导入所需要的包
import torch
import torchvision
import torchvision.transforms as transforms

1. 加载数据集

  TorchVision 数据集的输出是[0, 1]范围的PILImage图像。 我们将它们转换为归一化范围[-1, 1]的张量。

transform = transforms.Compose()

trainset = torchvision.datasets.CIFAR10()
trainloader = torch.utils.data.DataLoader()

testset = torchvision.datasets.CIFAR10()
testloader = torch.utils.data.DataLoader()

classes = ('plane', 'car', 'bird', 'cat',
           'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

  1. torchvision.transforms.Compose()类。这个类的主要作用是串联多个图片变换的操作。
  2. torchvision.datasets：一些加载数据的函数及常用的数据集接口
  3. torch.utils.data.DataLoader：简单来讲DataLoader就是用来包装所使用的数据，每次抛出一批数据

2. 定义卷积神经网络

  参考：这里，pytorch的nn.Module中蕴含了很多常见的网络模型，调用即可【注：还未学到nn.Module模块的相关知识，下面贴一下原文中的调用代码帮助大家理解。】

import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

net = Net()

3. 定义损失函数和优化器

  这里使用的是损失函数和优化器是：分类交叉熵损失和带有动量的 SGD，调用方法存在于pytorch的 nn模块 和 optim模块，后面会对该部分进行详细的学习。

4. 训练网络

  此部分：只需要遍历数据迭代器，然后将输入馈送到网络并进行优化即可，请参考下述代码片段。

for epoch in range(2):  # loop over the dataset multiple times

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # get the inputs; data is a list of [inputs, labels]
        inputs, labels = data

        # zero the parameter gradients
        optimizer.zero_grad()

        # forward + backward + optimize
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # print statistics
        running_loss += loss.item()
        if i % 2000 == 1999:    # print every 2000 mini-batches
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

5. 根据测试数据测试网络

  此部分：数据集在网络中进行了2次训练，但是我们需要检查网络是否学到了什么。因此，我们将通过预测神经网络输出的类别标签并根据实际情况进行检查来进行检查。 如果预测正确，则将样本添加到正确预测列表中。
具体步骤如下：

1. 显示测试集中的图像以使其熟悉
2. 重新加载保存的模型（注意：这里不需要保存和重新加载模型，我们只是为了说明如何这样做）
3. 输出是 10 类的能量。 一个类别的能量越高，网络就认为该图像属于特定类别。
4. 最后，通过网络的训练，可以得出哪些类的表现良好，哪些类的表现不佳

---

总结

  本文介绍了如何使用pytorch框架去训练一个图像分类器模型，通过此篇笔记希望 对如何使用pytorch框架建立一个完整的训练模型 有一个初步的了解。