[SGN]SGN: Sequential Grouping Networks for Instance Segmentation

Posted 2022-12-10 明天去哪

Abstract

香港中文大学ICCV 2017的文章

实例分割是一个结合了物体检测和语义分割的任务，物体遮挡和数量差异大的物体是实例分割中的主要困难。本文考虑到实例分割的困难性，提出将这个复杂的任务用一系列神经网络来解决，其中每个神经网络的左右都是将该程度下的语义信息进行聚集，从而使用简单的结构逐渐构造物体实例。其中，第一个网络在图片的水平和竖直方向生成断点，接着使用一种算法将点连接成先，第二个网络将线组成组件，第三个网络将组件融合起来成为最后的实例分割结果。由于采用的是一些列的聚类网络(Sequential Grouping Networks, SGN)，所以网络命名为SGN.

Framework

主要分为四步：
1. 预测断点

基于VGG16的deeplab-largeFOV，修改网络的输出，输入为一张图片，输出为每个像素有4个标签：背景、内部、起点、终点。分别计算水平方向和垂直方向。
2. 将断点聚合成线分割

这里直接使用扫描的方法，填充区域，形成所有的线
3. 将线连接成组件

这里使用LineNet， 输入9通道，输出是线所属的组件分割好的图片
4. 融合组件形成实例

由于实例可能包含不同的组件，许多对以上生成的组件进行融合，使用MergeNet，输入是10通道，输出最终的结果.

Result

在Cityscapes和Pascal VOC2012上进行实验，结果如下


在两个数据集上的实例分割任务中均达到了SOTA.

Other

从另一个思路处理分割问题，不是单纯地使用简单的一个深度网络，而是从图像的认知过程进行分阶段处理。
未开源