第46篇RepVGG ：让卷积再次伟大

Posted 2022-09-08 AI浩

摘要

我们提出了一个简单但功能强大的卷积神经网络架构，它具有类似 VGG 的推理时间体，仅由一堆 3×3 卷积和 ReLU 组成，而训练时间模型具有多分支拓扑。 这种训练时间和推理时间架构的解耦是通过结构重新参数化技术实现的，因此该模型被命名为 RepVGG。 据我们所知，在 ImageNet 上，RepVGG 达到了超过 80% 的 top-1 准确率，这是普通模型的第一次。 在 NVIDIA 1080Ti GPU 上，RepVGG 模型的运行速度比 ResNet-50 快 83% 或比 ResNet-101 快 101%，具有更高的准确度，并且与 EfficientNet 和 RegNet 等最先进的模型相比，表现出良好的准确度-速度权衡。 代码和训练模型可在 https://github.com/megvii-model/RepVGG 获得。

1、简介

一个经典的卷积神经网络（ConvNet），VGG [31]，在图像识别方面取得了巨大的成功，其简单的架构由一堆 conv、ReLU 和 pooling 组成。 随着 Inception [33, 34, 32, 19]、ResNet [12] 和 DenseNet [17]，许多研究兴趣转移到精心设计的架构上，使得模型越来越复杂。 最近的一些架构基于自动 [44, 29, 23] 或手动 [28] 架构搜索，或搜索的复合扩展策略 [35]。

尽管许多复杂的 ConvNet 比简单的 ConvNet 提供更高的准确度，但缺点也很明显。
1）复杂的多分支设计（例