深度学习分类网络结构RESNET RESNEXT DENSENET DPN MOBILE NET SHUFFLE NET

Posted 2022-12-13 Sun7_She

RESNET

跳跃连接

 

RESNEXT

拆分-转换-合并

增加基数（独立路径的数量）来提高准确度比网络加深或扩大来提高准确度更有效。（为什么呢？）

 

DENSENET

相加改为相并联

加强shortcut，将所有层直接连接在一起

 

DPN

将残差通道和densely connected path相融合，实现优缺互补

-------------------------------------------以下为轻量级网络-------------------------------------------

MOBILE NET

v1

1. 放弃pooling，直接采用stride=2进行卷积运算，【其他网络，具体应用的时候再看

2. 使用两步卷积代替一步卷积（深度可分离卷积），优点：减少计算量

3. 用两个超参数来控制网络计算速度与准确度之间的平衡，宽度调节参数（调节每一层的channel数），分辨率调节参数（调节输入图像的分辨率）

（啥是轻量化，为啥这个可以做到轻量化呢？）轻量化--参数量少

 

v2

1. 引入shortcut结构（残差网络）

2. 在进行depthwise之前先进行1*1的卷积增加feature map的通道数，实现feature map的扩张。（inverted residual block，一般的residual block是两头channel多中间feature map的channel少（沙漏形状）。而inverted residual block是两头通道少，中间feature的通道多（梭子形态））（梭子形态有啥好处吗？为啥resnet不用呢？----参数量已经很少了，中间增加一点参数，准确率也会高一点）

3. pointwise结束之后弃用relu激活函数，该用linear激活函数，来防止relu对特征的破坏（为啥relu有破坏，linear不会）

 

参考博文：https://www.jianshu.com/p/854cb5857070

 

SHUFFLE NET

分组卷积，交换不同组之间的通道。（shuffle net与resnet相比的优点和缺点）