MaskLab-实例分割（使用语义分割和方向特征精细化目标检测）

Posted 2021-01-31 majiale

MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
　　这是一篇2018年cvpr关于实例分割的网络模型，模型主要有三个输出：边界框、语义分割、方向预测。

整体框架

　　整个模型使用ResNet-101作为特征提取器，构建于Faster-RCNN之上。使用Faster-RCNN检测到目标框之后，使用相应的类别选取对应的语义通道并裁剪，接着结合方向预测再通过1x1的卷积得到粗分割掩码。

 

语义和方向特征

　　Masklab最核心的地方是使用了方向特征。目标检测和语义分割可以用于不同类别的实例分割，方向特征则用于同一类别的实例分割，如同一边框中重叠的人。方向预测对数用于预测每个像素相对于它对应的实例中心的方向，进而用于分割同样语义标签的实例。

掩码精细化

　　这部分工作感觉就是锦上添花的东西。使用额外的几个卷积层组成的网络使用一种hypercolumn特征得到精细化的分割结果。