语义分割网络-STDC_CVPR2021

Posted 2022-11-18 超级无敌陈大佬的跟班

前言

        该网络是基于语义分割网络BiSeNetV1版本进行的改进，删掉BiSeNet网络中的双路径方式。属于实时语义分割算法，速度快。

1.2STDC网络的性能

STDC(Short-Term Dense Concatenate network)在Cityscapes上，在1080Ti上

1）STDC1-50网络以250.4FPS的速度在测试集上实现了71.9％的mIoU。

2）STDC2-75网络在97.0FPS的情况下达到76.8％的mIoU。

跟其他算法的性能对比：

2.STDC网络一些细节

2.1STDC与BISeNet网络的结构区别

        下图中可以看出STDC网络删除了BISeNet中的spatial path，并使用Detail Guidance结构去代替空间路径的功能。这里先简要提下Detail Guidance，即使用拉普拉斯卷积核生成一个Detail GT图，然后使用Detail GT图与下采样8倍的特征图计算一个辅助Detail Loss。通过这个loss提升网络学习到边缘信息的能力。另外，该loss分支只在训练阶段存在，模型测试阶段推理时是不需要的，因此不会带来推理耗时。

 2.2网络概览图

 图中，左边那一块有点不直观，其实就是类似于FPN的结构，将stage5、stage4、stage4融合起来。这里手画了一下，不过还是有点不够直观。

2.3 STDC结构(Short-Term Dense Concatenate Module)

多尺度感受野进行concat操作

 网络可视化