深度学习之卷积神经网络（13）DenseNet

Posted 2021-10-23 炎武丶航

深度学习之卷积神经网络（13）DenseNet

 Skip Connection的思想在ResNet上面获得了巨大的成功，研究人员开始尝试不同的Skip Connection方案，其中比较流行的就是DenseNet [1]。DenseNet将前面所有层的特征图信息通过Skip Connection与当前层输出进行聚合，与ResNet的对应位置相加方式不同，DenseNet采用在通道轴 $c$维度进行拼接操作，聚合特征信息。

[1] G. Huang, Z. Liu 和 K. Q. Weinberger, “Densely Connected Convolutional Networks,” CoRR, 卷 abs/1608.06993, 2016.

 如下图所示，输入${\mathbf{X}}_0$通过${\text{H}}_1$卷积层得到输出${\mathbf{X}}_1$，${\mathbf{X}}_1$与${\mathbf{X}}_0$在通道轴上进行拼接，得到聚合后的特征张量，送入${\text{H}}_2$卷积层，得到输出${\mathbf{X}}_2$，同样的方法，${\mathbf{X}}_2$与前面所有层的特征信息${\mathbf{X}}_1$与${\mathbf{X}}_0$进行聚合，再送入下一层。如此循环，直至最后一层的输出${\mathbf{X}}_4$和前面所有层的特征信息 { X i } i = 0 , 1 , 2 , 3 \\{X_i\\}_{i=0,1,2,3} {Xi​}i=0,1,2,3​进行聚合得到模块的最终输出。这样一种基于Skip Connection稠密连接的模块叫做Dense Block。

Dense Block结构

 DenseNet通过堆叠多个Dense Block构成复杂的深层神经网络，如下图所示:

一个典型的DenseNet结构

 下图比较了不同版本的DenseNet的性能、DenseNet与ResNet的性能比较，以及DenseNet与ResNet训练曲线。

DenseNet与ResNet性能比较