使用Pytorch实现VGG的一般版本

Posted 2021-05-21 hi_mxd

在前面的博文中，我们已经实现了基于Pytorch的VGG11的搭建以及训练；

在本文中，我们将：

1）进一步理解VGG11 13 16和19

2）实现这些不同的架构；

 

一、VGG网络中的不同架构

 

 ABDE较为常用；我们称之为VGG11 13 16和19

每个架构在某一特定的卷积层后都有最大池化操作；

同时每次卷积操作完成后我们都将对其进行ReLU激活；

 

其他需要注意的地方是，他们都有相同的全连接层；

 

二、使用PYTORCH实现VGG网络

 

导入包：

import torch
import torch.nn as nn

 

VGG的配置：

1 # VGG configurations according to Table 1 in the paper
2 # https://arxiv.org/pdf/1409.1556v6.pdf
3 # configurations A (VGG11), B (VGG13), D (VGG16), and E (VGG19)
4 vgg_cfgs = {
5     \'A\': [64, \'M\', 128, \'M\', 256, 256, \'M\', 512, 512, \'M\', 512, 512, \'M\'],
6     \'B\': [64, 64, \'M\', 128, 128, \'M\', 256, 256, \'M\', 512, 512, \'M\', 512, 512, \'M\'],
7     \'D\': [64, 64, \'M\', 128, 128, \'M\', 256, 256, 256, \'M\', 512, 512, 512, \'M\', 512, 512, 512, \'M\'],
8     \'E\': [64, 64, \'M\', 128, 128, \'M\', 256, 256, 256, 256, \'M\', 512, 512, 512, 512, \'M\', 512, 512, 512, 512, \'M\'],
9 }

• 利用vgg_cfgs字典，A B C D 这些名字都是他们的键；数字代表每个卷基层的输出通道；M代表了最大池化操作；

从上图中也可以看到每个卷积层都有3*3的卷积核；

这意味着我们可以用一种非常通用的方式来定义卷积层；

 

一些注意事项：

• 这个论文在发表的时候，作者没有提及是否使用了BN方法在他们的网络层中；BN算法是为了解决在非常深的网络中梯度消失的问题；
• 在后面的时候，使用了BN层，即使是官方的Pytorch版本也使用了BN层；
• 因此我们也会使用BN层；
• 另一个需要注意的地方是在前两个fc层之后使用了dropout。虽然在表2中没有提及，但是作者在训练的时候使用了dropout方法；

 

网络架构类

 1 # VGG neural network class
 2 class VGG(nn.Module):
 3     def __init__(self, in_channels=3, num_classes=1000, 
 4                  config=vgg_cfgs[\'A\']):
 5         super(VGG, self).__init__()
 6         self.in_channels = in_channels
 7         self.num_classes = num_classes
 8         self.config = config
 9 
10         # select convolutional layer configuration for the VGG net
11         self.covolutional_layers = self.make_conv_layers(self.config)
12 
13         self.fully_connected = nn.Sequential(
14             nn.Linear(512*7*7, 4096),
15             nn.ReLU(),
16             nn.Dropout(0.5),
17             nn.Linear(4096, 4096),
18             nn.ReLU(),
19             nn.Dropout(0.5),
20             nn.Linear(4096, num_classes)
21         )
22 
23     # function to create the convolutional layers as per the selected config
24     def make_conv_layers(self, config):
25         layers = []
26         in_channels = self.in_channels
27         for op in config:
28             if op == \'M\':
29                 layers += [nn.MaxPool2d(kernel_size=2, stride=1)]
30             else:
31                 layers += [
32                            nn.Conv2d(in_channels=in_channels, 
33                                       out_channels=op, kernel_size=3, 
34                                       padding=1),
35                            nn.BatchNorm2d(op),
36                            nn.ReLU()
37                 ]
38                 in_channels = op
39         return nn.Sequential(*layers)
40 
41     # the forward pass
42     def forward(self, x):
43         x = self.convolutional_layers(x)
44         # flatten to prepare for the fully connected layers
45         x = x.view(x.size(0), -1)
46         x = self.fully_connected(x)
47         return x

 

模型的调用:

1 if __name__ == \'__main__\':
2     device = torch.device(\'cuda\' if torch.cuda.is_available() else \'cpu\')
3     config_keys = list(vgg_cfgs.keys())
4     for i, config in enumerate(config_keys):
5         model = VGG(in_channels=3, num_classes=1000, config=vgg_cfgs[config]).to(device)
6         print(f"Config: {config}, {model}")
7         # total parameters in the model
8         total_params = sum(p.numel() for p in model.parameters())
9         print(f"[INFO]: {total_params:,} total parameters. \\n")