深度学习Inception

Posted 2020-10-25 xiaoli

Inception的发展经历了4个版本，不太了解的童鞋可以参考：Short history of the Inception deep learning architecture

第一次学习GoogLeNet网络架构就深深被Inception的设计所吸引(如下图右)，摸索着学习了部分设计灵感。

　　

Inception V1的原始设计如下图(左)所示。

　　灵感：减少人工调整每个卷积窗口的大小&加深网络，是不是可以在同一层中具备不同大小的卷积（1*1,3*3,5*5,3*3池化）学习到输入图像的稀疏/不稀疏特征？

 GoogleLeNet中的使用了许多Inception V1 network, 架构参数减少了许多

Inception V1

　　启发：

　　1.最后阶段的full connection layer不是必须的，global average pooling可代替FC层减少over fitting risk。

　　2.Inception v1通过DepthConcat将多类型卷积输出的feature block合成，获得非线性属性。不用像传统的卷积层后面通过增加激活函数/pooling层增加非线性。

　　

Inception V2:

　　主要关于因子分解（传统的7*7卷积，可以分解为三个3*3尺寸的卷积）

 

Inception V3:

　　Inception V2变体+Batch Normalize辅助

 

Inception V4:

　　标准化，高可用性设计（Inception-A/B/C），详细参考 paer: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

　　

 

Inception-ResNet:

　　Inception和ResNet的结合体

　　灵感：ResNet的跳跃连接使得CNN输入信息传递更深，构建更深的网络，加速网络收敛。

　　启发：多架构融合和标准化的趋势