实现快速准确的图像识别神经网络

Posted 2022-03-02 雨夜的博客

随着神经网络模型和训练数据规模的增长，训练效率正成为深度学习的一个重要关注点。例如，GPT-3在小样本学习方面表现出非凡的能力，但它需要使用数千个 GPU 进行数周的训练，因此很难重新训练或改进。相反，如果人们可以设计出更小、更快、但更准确的神经网络会怎样？

在这篇文章中，我们介绍了两个利用神经架构搜索的图像识别模型系列，以及基于模型容量和泛化的原则性设计方法。第一个是EfficientNetV2（被ICML 2021接受），它由卷积神经网络组成，旨在为相对小规模的数据集提供快速的训练速度，例如ImageNet1k（有 128 万张图像）。第二个家族是CoAtNet，它们是结合了卷积和自注意力的混合模型，目标是在大规模数据集上实现更高的准确性，例如ImageNet21（拥有 1300 万张图像）和JFT（拥有数十亿张图像）。与之前的结果相比，我们的模型速度提高了 4-10 倍，同时在完善的ImageNet数据集上实现了最新的 90.88% top-1 准确率。我们还在Google AutoML github上发布源代码和预训练模型。

EfficientNetV2：更小的模型和更快的训练

EfficientNetV2 基于之前的EfficientNet架构。为了改进原始版本，我们系统地研究了现代 TPU/GPU 上的训练速度瓶颈，并发现：(1) 使用非常大的图像尺寸进行训练会导致更高的内存使用率，因此在 TPU/GPU 上通常会更慢；(2) 广泛使用的深度卷积在 TPU/GPU 上效率低下，因为它们的硬件利用率低；(3) 常用的统一复合缩放方法，即对卷积网络的每个阶段均等地缩放，是次优的。为了解决这些问题，我们提出了一种训练感知神经架构搜索 (NAS)，其中训练速度包含在优化目标中，以及一种以非均匀方式缩放不同阶段的缩放方法。

训练感知 NAS 基于之前的平台感知 NAS，但与原始方法主要关注推理速度不同，这里我们共同优化模型精度、模型大小和训练速度。我们还扩展了原始搜索空间以包含更多加速器友好的操作，例如FusedMBConv，并通过删除不必要的操作来简化搜索空间，例如平均池化和最大池化NAS 从不选择这些操作。由此产生的 EfficientNetV2 网络在所有以前的模型上都实现了更高的准确性，同时速度更快，体积缩小了 6.8 倍。

为了进一步加快训练过程，我们还提出了一种增强的渐进学习方法，在训练过程中逐渐改变图像大小和正则化幅度。渐进式训练已用于图像分类、GAN和语言模型。这种方法侧重于图像分类，但与以前的方法通常以准确性为代价来提高训练速度不同，这种方法可以稍微提高准确性，同时还可以显着减少训练时间。我们改进方法的关键思想是自适应地改变正则化强度，例如丢弃率或数据增强大小，根据图像大小。对于同一个网络，较小的图像尺寸导致网络容量较低，因此需要弱正则化；反之亦然，大图像尺寸需要更强的正则化来对抗过拟合。

我们在ImageNet和一些迁移学习数据集上评估 EfficientNetV2 模型，例如CIFAR-10/100、Flowers和Cars。在 ImageNet 上，EfficientNetV2 显着优于以前的模型，训练速度提高了约 5-11 倍，模型尺寸缩小了 6.8 倍，准确率没有任何下降。

CoAtNet：快速准确的大规模图像识别模型

虽然 EfficientNetV2 仍然是典型的卷积神经网络，但最近对Vision Transformer (ViT) 的研究表明，基于注意力的 Transformer 模型在大规模数据集上的表现优于卷积神经网络像JFT-300M。受这一观察的启发，我们进一步将我们的研究扩展到卷积神经网络之外，目的是找到更快、更准确的视觉模型。

在“ CoAtNet: Marrying Convolution and Attention for All Data Sizes ”中，我们系统地研究了如何结合卷积和自注意力来开发快速准确的神经网络，用于大规模图像识别。我们的工作基于一个观察，即卷积由于其归纳偏差通常具有更好的泛化能力（即训练和评估之间的性能差距），而自注意力往往具有更大的能力（即适应大规模训练的能力）数据）由于其全球接受域。通过结合卷积和自注意力，我们的混合模型可以实现更好的泛化和更大的容量。

我们从我们的研究中观察到两个关键见解：（1）深度卷积和自注意力可以通过简单的相对注意力自然地统一起来，（2）垂直堆叠卷积层和注意力层的方式考虑它们的容量和计算所需的每个stage（分辨率）在提高泛化、容量和效率方面出奇地有效。基于这些见解，我们开发了一系列具有卷积和注意力的混合模型，命名为 CoAtNets（发音为“coat”nets）。下图展示了整体的 CoAtNet 网络架构：

CoAtNet 模型在许多数据集（例如 ImageNet1K、ImageNet21K 和 JFT）中始终优于 ViT 模型及其变体。与卷积网络相比，CoAtNet 在小规模数据集 (ImageNet1K) 上表现出相当的性能，并且随着数据大小的增加（例如在 ImageNet21K 和 JFT 上）获得了可观的收益。

我们还在大规模JFT数据集上评估了 CoAtNets 。为了达到类似的准确度目标，CoAtNet 的训练速度比之前的 ViT 模型快 4 倍，更重要的是，在 ImageNet 上实现了 90.88% 的新的最先进的 top-1 准确度。

结论和未来工作

在这篇文章中，我们介绍了两个神经网络系列，名为 EfficientNetV2 和 CoAtNet，它们在图像识别方面实现了最先进的性能。所有 EfficientNetV2 模型都是开源的，预训练模型也可在 TFhub 上获得。CoAtNet 模型也将很快开源。我们希望这些新的神经网络能够使研究界和行业受益。未来我们计划进一步优化这些模型并将它们应用于新任务，例如零样本学习和自监督学习，这通常需要具有高容量的快速模型。

CIFAR-10数据集应用：快速入门数据增强方法Mixup，显著提升图像识别准确度

CIFAR-10数据集应用：快速入门数据增强方法Mixup，显著提升图像识别准确度

作者｜Ta-Ying Cheng，牛津大学博士研究生，Medium技术博主，多篇文章均被平台官方刊物Towards Data Science收录
翻译｜颂贤

深度学习蓬勃发展的这几年来，图像分类一直是最为火热的领域之一。传统上的图像识别严重依赖像是扩张/侵蚀或者是频域变换这样的处理方法，但特征提取的困难性限制了这些方法的进步空间。

现如今的神经网络则显著提高了图像识别的准确率，因为神经网络能够寻找输入图像和输出标签之间的关系，并以此不断地调整它的识别策略。

然而，神经网络往往需要大量的数据进行训练，而优质的训练数据并不是唾手可得的。因此现在许多人都在研究如何能够实现所谓的数据增强（Data augmentation），即在一个已有的小数据集中凭空增加数据量，来达到以一敌百的效果。

本文就将带大家认识一种简单而有效的数据增强策略Mixup，并介绍直接在PyTorch中实现Mixup的方法。

为什么需要数据增强？

神经网络架构内的参数是根据给定的数据进行训练和更新的。但由于训练数据只覆盖了某一部分可能数据的分布情况，网络很可能就会在分布的“能见”部分过度拟合。

因此，我们拥有的训练数据越多，理论上就越能覆盖整个分布的情况，这也正是为什么以数据为中心的AI（data-centric AI）非常重要。当然，在数据量有限的情况下，我们也并不是没有办法。通过数据增强，我们就可以尝试通过微调原有数据的方式产生新数据，并将其作为“新”样本送入网络进行训练。

什么是Mixup？

图1：Mixup的简易演示图

假设我们现在要做的事情是给猫和狗的图片做分类，并且我们已经有了一组标注好了是猫是狗的数据（例如[1, 0] -> 狗, [0, 1] -> 猫），那么Mixup简单来说就是将两张图像及其标签平均化为一个新数据。

具体而言，我们可以用数学公式写出Mixup的概念：
$$\begin{gathered} x=\lambda x_i+(1-\lambda )(x_j), \\ y=\lambda y_i+(1-\lambda )(y_j), \end{gathered}$$
其中，x和y分别是混合xi（标签为yᵢ）和xⱼ（标签为yⱼ）后的图像和标签，而λ则是从给定的贝塔分布中取得的随机数。

由此，Mixup能够为我们提供不同数据类别之间的连续数据样本，并因此直接扩大了给定训练集的分布，从而使网络在测试阶段更加强大。

Mixup的万用性

Mixup其实只是一种数据增强方法，它和任何用于分类的网络架构都是正交的。也就是说，我们可以在任何要进行分类任务的网络中对相应的数据集使用Mixup方法。

Mixup的提出者张宏毅等人基于其最初发表的论文《Mixup: Beyond Empirical Risk Minimization》对多个数据集和架构进行了实验，发现了Mixup在神经网络之外的应用中也能体现其强大能力。

计算环境

库

我们将通过PyTorch（包括torchvision）来构建整个程序。Mixup需要的从beta分布中生成的样本，我们可以从NumPy库中获得。我们还将使用random来为Mixup寻找随机图像。下面的代码能够导入我们需要的所有库：

"""
Import necessary libraries to train a network using mixup
The code is mainly developed using the PyTorch library
"""
import numpy as np
import pickle
import random
import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import Dataset, DataLoader

数据集

为了演示，我们将用传统的图像分类任务来说明Mixup的强大，那么这种情况下CIFAR-10则会是非常理想的数据集。CIFAR-10包含10个类别的60000张彩色图像（每类6000张），按5:1的比例分为训练和测试集。这些图像分类起来相当简单，但比最基本的数字识别数据集MNIST要难一些。

有许多方法可以下载CIFAR-10数据集，比如多伦多大学网站里就包含了相关数据集。在这里，我推荐大家使用格物钛的公开数据集平台，因为在这个平台上，如果使用他们的SDK，不用下载也可以获取免费的数据集资源。

事实上，这个公开数据集平台包含了行业内数百个知名的优质数据集，每个数据集都有相关的作者说明，以及不同训练任务的标签，例如分类或目标检测。当然，大家也可以在这个平台下载其他分类数据集，如CompCars或SVHN，来测试Mixup在不同场景下的性能。

硬件要求

一般来说，我们最好用GPU（显卡）来训练神经网络，因为它能显著提高训练速度。不过如果只有CPU可用，我们还是可以对程序进行简单测试的。如果你想让程序能够自行确定所需硬件，使用以下代码即可：

"""
Determine if any GPUs are available
"""
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

实现

网络

这里，我们的目标是要测试Mixup的性能，而不是调试网络本身，所以我们只需要简单实现一个4层卷积层和2层全连接层的卷积神经网络（CNN）即可。为了比较使用和不使用Mixup的区别，我们将应用同一个网络来确保比较的准确性。

我们可以使用下列代码来搭建上面所说的简单网络：

"""
Create a simple CNN
"""
class CNN(nn.Module):
	def __init__(self):
        super(CNN, self).__init__()

        # Network consists of 4 convolutional layers followed by 2 fully-connected layers
        self.conv11 = nn.Conv2d(3, 64, 3)
        self.conv12 = nn.Conv2d(64, 64, 3)
        self.conv21 = nn.Conv2d(64, 128, 3)
        self.conv22 = nn.Conv2d(128, 128, 3)
        self.fc1 = nn.Linear(128 * 5 * 5, 256)
        self.fc2 = nn.Linear(256, 10)
	def forward(self, x):
       x = F.relu(self.conv11(x))
       x = F.relu(self.conv12(x))
       x = F.max_pool2d(x, (2,2))
       x = F.relu(self.conv21(x))
       x = F.relu(self.conv22(x))
       x = F.max_pool2d(x, (2,2))

       # Size is calculated based on kernel size 3 and padding 0
       x = x.view(-1, 128 * 5 * 5)
       x = F.relu(self.fc1(x))
       x = self.fc2(x)

       return nn.Sigmoid()(x)

Mixup

Mixup阶段是在数据集加载过程中完成的，所以我们必须写入我们自己的数据集，而不是使用torchvision.datasets所提供的默认数据集。

下面的代码简单地实现了Mixup，并结合使用了NumPy的贝塔函数。

"""
Dataset and Dataloader creation
All data are downloaded found via Graviti Open Dataset which links to CIFAR-10 official page
The dataset implementation is where mixup take place
"""

class CIFAR_Dataset(Dataset):
    def __init__(self, data_dir, train, transform):
        self.data_dir = data_dir
        self.train = train
        self.transform = transform
        self.data = []
        self.targets = []

        # Loading all the data depending on whether the dataset is training or testing
        if self.train:
            for i in range(5):
                with open(data_dir + 'data_batch_' + str(i+1), 'rb') as f:
                    entry = pickle.load(f, encoding='latin1')
                    self.data.append(entry['data'])
                    self.targets.extend(entry['labels'])
        else:
            with open(data_dir + 'test_batch', 'rb') as f:
                entry = pickle.load(f, encoding='latin1')
                self.data.append(entry['data'])
                self.targets.extend(entry['labels'])

        # Reshape it and turn it into the HWC format which PyTorch takes in the images
        # Original CIFAR format can be seen via its official page
        self.data = np.vstack(self.data).reshape(-1, 3, 32, 32)
        self.data = self.data.transpose((0, 2, 3, 1))

    def __len__(self):
        return len(self.data)

    def __getitem__(self, idx):

        # Create a one hot label
        label = torch.zeros(10)
        label[self.targets[idx]] = 1.

        # Transform the image by converting to tensor and normalizing it
        if self.transform:
            image = transform(self.data[idx])

        # If data is for training, perform mixup, only perform mixup roughly on 1 for every 5 images
        if self.train and idx > 0 and idx%5 == 0:

            # Choose another image/label randomly
            mixup_idx = random.randint(0, len(self.data)-1)
            mixup_label = torch.zeros(10)
            label[self.targets[mixup_idx]] = 1.
            if self.transform:
                mixup_image = transform(self.data[mixup_idx])

            # Select a random number from the given beta distribution
            # Mixup the images accordingly
            alpha = 0.2
            lam = np.random.beta(alpha, alpha)
            image = lam * image + (1 - lam) * mixup_image
            label = lam * label + (1 - lam) * mixup_label

        return image, label

需要注意的是，我们并没有对所有的图像都进行Mixup，而是大概每5张处理1张。我们还使用了一个0.2的贝塔分布。你可以自己为不同的实验改变分布以及被混合的图像的数量，或许你会取得更好的结果!

训练和评估

下面的代码展示的是训练过程。我们将批次大小设置为128，学习率为1e-3，总次数为30次。整个训练进行了两次，唯一区别是有没有使用Mixup。需要注意的是， 损失函数需要由我们自己定义，因为目前BCE损失不允许使用带有小数的标签。

"""
Initialize the network, loss Adam optimizer
Torch BCE Loss does not support mixup labels (not 1 or 0), so we implement our own
"""
net = CNN().to(device)
optimizer = torch.optim.Adam(net.parameters(), lr=LEARNING_RATE)
def bceloss(x, y):
    eps = 1e-6
    return -torch.mean(y * torch.log(x + eps) + (1 - y) * torch.log(1 - x + eps))
best_Acc = 0


"""
Training Procedure
"""
for epoch in range(NUM_EPOCHS):
    net.train()
    # We train and visualize the loss every 100 iterations
    for idx, (imgs, labels) in enumerate(train_dataloader):
        imgs = imgs.to(device)
        labels = labels.to(device)
        preds = net(imgs)
        loss = bceloss(preds, labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        if idx%100 == 0:
            print("Epoch {} Iteration {}, Current Loss: {}".format(epoch, idx, loss))

    # We evaluate the network after every epoch based on test set accuracy
    net.eval()
    with torch.no_grad():
        total = 0
        numCorrect = 0
        for (imgs, labels) in test_dataloader:
            imgs = imgs.to(device)
            labels = labels.to(device)
            preds = net(imgs)
            numCorrect += (torch.argmax(preds, dim=1) == torch.argmax(labels, dim=1)).float().sum()
            total += len(imgs)
        acc = numCorrect/total
        print("Current image classification accuracy at epoch {}: {}".format(epoch, acc))
        if acc > best_Acc:
            best_Acc = acc

为了评估Mixup的效果，我们进行了三次对照试验来计算最终的准确性。在没有Mixup的情况下，该网络在测试集上的准确率约为74.5%，而在使用了Mixup的情况下，准确率提高到了约76.5%!

图像分类之外

Mixup将图像分类的准确性带到了一个前所未有的高度，但研究表明，Mixup的好处还能延伸到其他计算机视觉任务中，比如对抗性数据的生成和防御。另外也有相关文献在Mixup拓展到三维表示中，目前的结果表明Mixup在这一领域也十分有效的，例如PointMixup。

结语

由此，我们用Mixup做的小实验就大功告成啦！在这篇文章中，我们简单介绍了Mixup的概念并演示了如何在图像分类网络训练中应用Mixup。完整的实现方式可以在这—GitHub仓库中找到。

【关于格物钛】：

格物钛智能科技定位为面向机器学习的数据平台，致力于为 AI 开发者打造下一代新型基础设施，从根本上改变其与非结构化数据的交互方式。我们通过非结构化数据管理工具TensorBay和开源数据集社区Open Datasets，帮助机器学习团队和个人降低数据获取、存储和处理成本，加速 AI开发和产品创新，为人工智能赋能千行百业、驱动产业升级提供坚实基础。