FCN，FPN，UNet对比总结 2021-02-27

Posted 2023-05-15

参考技术A 这篇文章对三个非常相似的图像分割模型进行一个总结对比，它们都是先下采样再上采样，并且把下采样过程中的浅层特征和上采样过程中，相应尺寸的高级特征融合起来的一个结构。这三个模型都使用的全卷积，第一个模型FCN，Fully Convolutional Neuralnetwork就以此为名，用1*1卷积核替代全连接，这样就不用考虑尺寸对应的问题了

FCN尝试了三种预测结构，第一种将最高级的特征直接进行32倍的上采样，16s和8s取用了更多层的浅层特征和上采样到同尺寸的高级特征图简单相加进行结合。这里的上采样方法用双线性插值作为初始值，但是参数是可学习的。

U-Net是针对细胞照片的图像分割设计的，其实和FCN十分相似，不过它在上采样的阶段的特征图拥有更多的通道数，因此网络结构更为对称成为一个U形。另外，FCN的上采样阶段对浅层和深层特征的融合使用的是简单相加，U-Net中是将两者拼接起来。
另外可以注意到U-Net中两边的矩阵尺寸是不一样的，这里预测的是一个388 388的输出，但是输入有572 572，下面的特征图也是下采样阶段的更大一些，拼接时，浅层特征图会被直接截取而不是resize，这是为了补偿下采样过程中丢失的一些细胞边界细节。如果预测区域在原图的边界，则使用镜像补全，提供一个更大的蓝色区域作为输入。

FPN对多尺度的特征图都进行了独立的预测，结果取置信度最高的像素（图像分割任务）。这是他最大的特点，接下来我们就可以就几个方面一起看了。

结构上，三者都是对称的下采样再上采样的全卷积网络，
在上采样方式上，FCN和U-Net都是使用以双线性插值为初始值的反卷积，FPN最近邻上采样
在特征融合上，FCN将不同尺度的特征简单相加，U-Net将浅层特征截取后和高层特征拼接，而FPN是用1*1卷积处理浅层特征图再和高级特征相加。

参考博客： https://chadrick-kwag.net/fcn-unet-fpn-comparison/

fcn cascade rcnn

1. FPN(Feature Pyramid Networks for Object Detection)

特征融合

目的是把低层次高分辨率的信息和高层次强语义的信息结合起来，提高检测性能和小目标识别。

https://zhuanlan.zhihu.com/p/103263215

2.双线性插值  ROI Align

解决图像下采样的时候精度损失的问题。

https://www.cnblogs.com/yssongest/p/5303151.html

https://blog.csdn.net/qq_37577735/article/details/80041586

3. Cascade RCNN

解决训练的时候使用iou阈值过滤proposals 但是推理的时候不适用iou过滤的影响

改用多个iou阈值，使得网络适应各种proposals。

https://zhuanlan.zhihu.com/p/42553957

https://blog.csdn.net/qq_39382877/article/details/97966011#Cascade%5C%20RCNN