超轻量级网络SqueezeNet网络解读

Posted 2021-12-05 gezhuangzhuang

SqueezeNet网络模型非常小，但分类精度接近AlexNet。

 

这里复习一下卷积层参数的计算

输入通道ci，核尺寸k，输出通道co，参数个数为：

以AlexNet第一个卷积为例，参数量达到：3*11*11*96=34848

 

基础模块

 

包含三个卷积层（蓝色），步长为1，分为squeeze和expand两部分，分别压缩和扩展数据（灰色矩形）的通道数

expand部分中，两个不同核尺寸的结果通过串接层（黄色）合并输出

fire模块有三个可调参数：

- s1：squeeze部分，1x1卷积层的通道数

- e1：expand部分，1x1卷积层的通道数

- e3：expand部分，3x3卷积层的通道数

输入输出尺寸相同。输出通道数不限，输出通道数为e1+e3

在本文提出SqueezeNet结构中，

 

网络结构

整个网络包含10层

第1层为卷积层，缩小输入图像，提取96维特征

第2到9层为fire模块，每个模块内部先减少通道数（squeeze）再增加通道数（expand）。每两个模块之后，通道数会增加

在1、4、8层之后加入降采样的max pooling，缩小一般尺寸

第10层又是卷积层，为小图的每个像素预测1000类分类得分

最后用一个全图average pooling得到这张图的1000类得分，使用softmax函数归一化为概率

 

这是一个全卷积网络，避免了如今越来越不受待见的全连接层。由于最后一层提供了全图求平均操作，可以接受任意尺寸的输入。当然，输入还是需要归一化大致相当的尺寸，保持统一尺度

全连接层的参数多，对性能提升帮助不大，现在往往被pooling代替

这个网络达到了和AlexNet相当的分类精度，但模型缩小了50倍

architecture	model size	top-1 accuracy	top-5 accuracy
AlexNet	240MB	57.2%	80.3%
SqueezeNet	4.8MB	57.5%	80.3%