卷积神经网络VGG

Posted 2022-11-02 zhiyong_will

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了卷积神经网络VGG相关的知识，希望对你有一定的参考价值。

1. 概述

VGG[1]是Oxford的Visual Geometry Group的组提出的，VGG的缩写也来自于这个组的名字。VGG网络探索了提升网络的深度对最终的图像识别准确率的重要性，同时在VGG中尝试使用小的卷积核来构建深层的卷积网络。VGG在当年的ILSVRC 2014上取得了第一的成绩，证明了增加网络的深度能够在一定程度上提高网络的性能。

2. 算法的基本思想

2.1. VGG的原理

在VGG网络中，有两种结构，分别是VGG16和VGG19，两者只是网络深度不一样。以VGG16为例，在VGG16中，相比于AlexNet，其最大的改进是采用几个 $3\\times 3$ 的卷积核代替了AlexNet中的较大的卷积核，主要是 $11\\times 11$ ， $5\\times 5$ 。相比于大的卷积核，采用多个较小卷积核的堆叠，一方面能通过多层的非线性特性增强模型的学习能力（卷积+ReLU为一个组合），同时能进一步减少模型的参数。

以 $5\\times 5$ 的卷积核为例，可通过堆叠两个 $3\\times3$ 的卷积核实现 $5\\times5$ 的卷积效果，具体过程如下图所示：

$5\\times5$ 卷积核的参数个数为 $25 + 1$ 个，与 $5\\times5$ 的卷积核相比，堆叠两个 $3\\times3$ 的参数个数为 $9 + 1 + 9 + 1$ ，在实现了同样的功能的情况下能够减少参数的个数。

2.2. VGG的网络结构

VGG网络的结构的具体参数如下图所示：

由上图可以看出，VGG16和VGG19只是在层数上不一样，VGG16中包含了16个隐藏层，包括13个卷积层和3个全连接层，如上图中的D列所示，VGG19中包含了19个隐藏层，包括16个卷积层和3个全连接层，如上图中的E列所示。

以VGG16为例，参照[2]的参数格式，可以绘制出如下的网络结构：

从上述的网络结构中可以看出，在VGG网络中只包含了卷积+ReLU，pooling，全连接，dropout操作模块，摒弃了在AlexNet中使用的LRN归一化模块，并在实验中验证LRN对于最终效果的影响较小。VGG的整个网络结构相对比较简单，但就是这样简单的网络结构却能提升整体的识别效果，这得益于较深的网络结构。在上述的结构中：

data：大小为 $224\\times 224\\times 3$
第一组卷积（包括conv1_1，relu1_1，conv1_2，relu1_2，pool1）
- conv1_1：输入（ $224\\times 224\\times 3$ ），输出：（ $224\\times 224\\times 64$ ，其中，卷积核大小为 $3\\times3$ ，padding为 $1$ ，步长S为 $1$ ，卷积核的个数为 $64$ ）
- relu1_1：输入（ $224\\times 224\\times 64$ ），输出（ $224\\times 224\\times 64$ ）
- conv1_2：输入（ $224\\times 224\\times 64$ ），输出：（ $224\\times 224\\times 64$ ，其中，卷积核大小为 $3\\times3$ ，padding为 $1$ ，步长S为 $1$ ，卷积核的个数为 $64$ ）
- relu1_2：输入（ $224\\times 224\\times 64$ ），输出（ $224\\times 224\\times 64$ ）
- pool1：输入（ $224\\times 224\\times 64$ ），输出（ $112\\times 112\\times 64$ ，其中，核的大小为 $2\\times2$ ，步长S为 $2$ ）
第二组卷积（包括conv2_1，relu2_1，conv2_2，relu2_2，pool2）
- conv2_1：输入（ $112\\times 112\\times 64$ ），输出：（ $112\\times 112\\times 128$ ，其中，卷积核大小为 $3\\times3$ ，padding为 $1$ ，步长S为 $1$ ，卷积核的个数为 $128$ ）
- relu2_1：输入（ $112\\times 112\\times 128$ ），输出（ $112\\times 112\\times 128$ ）
- conv2_2：输入（ $112\\times 112\\times 128$ ），输出：（ $112\\times 112\\times 128$ ，其中，卷积核大小为 $3\\times3$ ，padding为 $1$ ，步长S为 $1$ ，卷积核的个数为 $128$ ）
- relu2_2：输入（ $112\\times 112\\times 128$ ），输出（ $112\\times 112\\times 128$ ）
- pool2：输入（ $112\\times 112\\times 128$ ），输出（ $56\\times 56\\times 128$ ，其中，核的大小为 $2\\times2$ ，步长S为 $2$ ）
第三组卷积（包括conv3_1，relu3_1，conv3_2，relu3_2，conv3_3，relu3_3，pool3）
- conv3_1：输入（ $56\\times 56\\times 128$ ），输出：（ $56\\times 56\\times 256$ ，其中，卷积核大小为 $3\\times3$ ，padding为 $1$ ，步长S为 $1$ ，卷积核的个数为 $256$ ）
- relu3_1：输入（ $56\\times 56\\times 256$ ），输出（ $56\\times 56\\times 256$ ）
- conv3_2：输入（ $56\\times 56\\times 256$ ），输出：（ $56\\times 56\\times 256$ ，其中，卷积核大小为 $3\\times3$ ，padding为 $1$ ，步长S为 $1$ ，卷积核的个数为 $256$ ）
- relu3_2：输入（ $56\\times 56\\times 256$ ），输出（ $56\\times 56\\times 256$ ）
- conv3_3：输入（ $56\\times 56\\times 256$ ），输出：（ $56\\times 56\\times 256$ ，其中，卷积核大小为 $3\\times3$ ，padding为 $1$ ，步长S为 $1$ ，卷积核的个数为 $256$ ）
- relu3_3：输入（ $56\\times 56\\times 256$ ），输出（ $56\\times 56\\times 256$ ）
- pool3：输入（ $56\\times 56\\times 256$ ），输出（ $28\\times 28\\times 256$