超轻量级网络SqueezeNet网络解读

Posted gezhuangzhuang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了超轻量级网络SqueezeNet网络解读相关的知识,希望对你有一定的参考价值。

SqueezeNet网络模型非常小,但分类精度接近AlexNet。

 

这里复习一下卷积层参数的计算

输入通道ci,核尺寸k,输出通道co,参数个数为:技术图片

以AlexNet第一个卷积为例,参数量达到:3*11*11*96=34848

 

基础模块

技术图片

 

包含三个卷积层(蓝色),步长为1,分为squeeze和expand两部分,分别压缩和扩展数据(灰色矩形)的通道数

expand部分中,两个不同核尺寸的结果通过串接层(黄色)合并输出

fire模块有三个可调参数:

- s1:squeeze部分,1x1卷积层的通道数

- e1:expand部分,1x1卷积层的通道数

- e3:expand部分,3x3卷积层的通道数

输入输出尺寸相同。输出通道数不限,输出通道数为e1+e3

在本文提出SqueezeNet结构中,技术图片

 

网络结构

技术图片

整个网络包含10层

第1层为卷积层,缩小输入图像,提取96维特征

第2到9层为fire模块,每个模块内部先减少通道数(squeeze)再增加通道数(expand)。每两个模块之后,通道数会增加

在1、4、8层之后加入降采样的max pooling,缩小一般尺寸

第10层又是卷积层,为小图的每个像素预测1000类分类得分

最后用一个全图average pooling得到这张图的1000类得分,使用softmax函数归一化为概率

 

这是一个全卷积网络,避免了如今越来越不受待见的全连接层。由于最后一层提供了全图求平均操作,可以接受任意尺寸的输入。当然,输入还是需要归一化大致相当的尺寸,保持统一尺度

全连接层的参数多,对性能提升帮助不大,现在往往被pooling代替

这个网络达到了和AlexNet相当的分类精度,但模型缩小了50倍

architecturemodel sizetop-1 accuracytop-5 accuracy
AlexNet 240MB 57.2% 80.3%
SqueezeNet 4.8MB 57.5% 80.3%

 

 

 

 

以上是关于超轻量级网络SqueezeNet网络解读的主要内容,如果未能解决你的问题,请参考以下文章

Docker网络详解及pipework源码解读与实践

轻量化卷积神经网络模型总结by wilson(shffleNet,moblieNet,squeezeNet+Xception)

轻量级神经网络架构

GhostNet网络解析

GhostNet网络解析

SENet及对轻量级网络的一些理解