BorderDet：通过边界特征大幅提升检测准确率，即插即用且速度不慢 | ECCV 2020 Oral

Posted 2021-06-03 晓飞的算法工程笔记

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了BorderDet：通过边界特征大幅提升检测准确率，即插即用且速度不慢 | ECCV 2020 Oral相关的知识，希望对你有一定的参考价值。

边界对于定位问题十分重要，BorderDet的核心思想BorderAlign巧妙又有效，将边界特征融入到目标定位预测中，而且能够简单地融入到各种目标检测算法中带来较大的性能提升下。在开源实现中，对BorderAlign进行了高效CUDA实现，不会对耗时带来很大的影响，整个工作十分扎实

来源：晓飞的算法工程笔记公众号

论文: BorderDet: Border Feature for Dense Object Detection

论文地址：https://arxiv.org/abs/2007.11056
论文代码：https://github.com/Megvii-BaseDetection/BorderDet

Introduction

目前大部分的point-based目标检测算法(SSD, RetinaNet, FCOS)使用特征图的single-point进行定位和分类，但single-point特征可能没有足够多的信息来表达完整的实例以及实例的边界信息。很多研究通过各种手段补充single-point的特征表达能力，这些方法虽然能够提取更多的特征，但可能带来不必要的计算以及会受背景的影响。最关键的，这些方法都没有直接利用边界特征，而边界对于定位是十分重要的。为此，论文提出新的特征提取操作BorderAlign，可直接利用边界特征优化原本的single-point特征，基于BorderAlign提出了SOTA目标检测算法BorderDet。
论文的主要贡献如下：

分析dense object detector的特征表达，展示边界特征对补强single-point特征的重要性。
提出新的特征提取操作BorderAlign，通过边界特征来优化网络特征，并基于BorderAlign提出高性能目标检测算法BorderDet。
在COCO数据集上，将BAM模块集成到FCOS和FPN中分别提升2.8AP和3.6AP，而集成到ResNext-101-DCN准确率为50.3AP，达到SOTA。

Our Approach

Motivation

论文以FCOS为baseline，加入第二阶段预测来对比多种特征增强方法的效果，最后发现仅用边界中心点的增强效果与region-based方法几乎一样。从实验结果来看，可以得出以下结论：

point-based特征表达缺乏完整物体的显著特征，需要进行特征增强。
从完整的boxes内提取特征是不必要的，且存在冗余。
高效的边界特征提取策略能够带来更好的性能。

Border Align

密集地从边界提取特征是很低效的，一般边界上的目标物体相关的点很少，大多为背景点。为此，论文提出BorderAlign特征提取操作，能够有效且自适应地榨取边界特征。

参考R-FCN的思想，BorderAlign提取$(4+1)C$维度的border-sensitive特征图作为输入，$4C$维度对应4条边，另外$C$维对应原本的single-point特征。假定特征图顺序为(single point, left border, top border, right border和bottom border)，计算输出特征图时，对点$(i, j)$对应的bbox的每条边均匀取$N$个采样点，$N$默认设为10，采样点的值使用双线性插值计算，最后通过channel-wise max-pooling得到输出：

$(x_0, y_0, x_1, y_1)$为点$(i,j)$预测的bbox，这种方法能够自适应地从边界极点榨取边界特征。

论文对border-sensitive特征图中各channel的最大值进行了可视化，发现最大值分布基本符合预设的作用。

Border Alignment Module

BAM模块封装了BorderAlign操作，先使用$1\\times 1$卷积生成border-sensitive feature maps，然后结合初步bbox预测，通过BorderAlign输出Border增强后的特征图，再使用$1\\times 1$卷积恢复为模块输入维度。

BorderDet

BorderDet基于FCOS检测架构，主要在特征金字塔的预测head中加入BAM模块。首先预测初步bbox预测和初步分类预测，然后将初步bbox预测输入到BAM模块得到Border分类预测和Border bbox预测，预测跟原先一样使用$1\\times 1$卷积，最后统一两种结果进行输出。

BorderRPN

BAM模块也能用于two-stage目标检测算法中，将原本第二阶段的region-based特征提取改为文中的BAM模块进行边界特征增强预测，另外将前面特征提取的卷积改为空洞卷积来提升感受域。

Model Training and Inference

Target Assignment

BorderDet基于FCOS进行初步预测，在第二阶段将GT赋予每个IoU大于0.6的初步预测结果，回归目标定义为：

$\\sigma$为方差，用于提高多任务学习的效率，默认为0.5。

Loss Function

BorderDet的损失函数定义为：

$\\mathcal{L}^{C_{cls}$和$\\mathcal{L}}C_{reg}$为初步分类损失和初步定位损失，在实现时分别为focal loss和IoU loss，$\\mathcal{L}^{B_{cls}$和$\\mathcal{L}}B_{reg}$则计算border预测结果与对应GT之间的分类损失和定位损失，仅处理正样本，在实现时分别为focal loss和$\\mathcal{L}_1$ loss。