语义分割(4)Faster RCNN

Posted 2023-05-10

参考技术A 由于之前的RCNN或是SPPnet或是FasterRCNN都是利用select search来做Region proposal的,即使把这种算法移植到GPU上,这种算法也忽略了很多sharing computation的机会.所以这篇文章提出了Region Proposal Network(RPN),只利用深度学习网络来训练得到Region Proposal.

RPN 的输入是一张照片,输出是一个长方形的区域,以及这个区域是否为物体的得分.

具体计算原理是先对VGG等常规网络最后的卷积层后加入3*3的小卷积,作为一个滑动窗口,然后分别再做两次1*1的卷积,得到anchor box分别是否为物体,以及他对应的候选区域的长方形.对于每一个feature map,我们这里可以得到9个anchor.

最后在经过一个loss function做整体优化.

具体细节,参考:

MaskLab-实例分割（使用语义分割和方向特征精细化目标检测）

MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
　　这是一篇2018年cvpr关于实例分割的网络模型，模型主要有三个输出：边界框、语义分割、方向预测。

整体框架

　　整个模型使用ResNet-101作为特征提取器，构建于Faster-RCNN之上。使用Faster-RCNN检测到目标框之后，使用相应的类别选取对应的语义通道并裁剪，接着结合方向预测再通过1x1的卷积得到粗分割掩码。

 

语义和方向特征

　　Masklab最核心的地方是使用了方向特征。目标检测和语义分割可以用于不同类别的实例分割，方向特征则用于同一类别的实例分割，如同一边框中重叠的人。方向预测对数用于预测每个像素相对于它对应的实例中心的方向，进而用于分割同样语义标签的实例。

掩码精细化

　　这部分工作感觉就是锦上添花的东西。使用额外的几个卷积层组成的网络使用一种hypercolumn特征得到精细化的分割结果。