《BEVSegFormer：Bird’s Eye View Semantic Segmentation From Arbitrary Camera Rigs》论文笔记

Posted 2022-10-28 m_buddy

参考代码：None

1. 概述

介绍：这篇文章构建bev特征是将bev grid作为query通过transformer完成的，同样为了减少计算量也使用了deformable attention操作。不过有一点是跟别的方法不一样的，那就是这篇文章的方法完全没有使用任何相机标定信息，全是通过数据驱动参数学习的形式，但是这样带来的问题是收敛速度会比较慢一点。此外，对于CNN网络部分使用self-deformable attention实现特征优化，以生成表达能力更好的bev特征。

下图展示的是bev query如何映射到图像特征的：

在之前的一些方法中是通过相机内外参数实现bev grid与图像特征图上reference point的映射，而这篇文章则使用的是全连接学习的形式，带来的好处是无需相机内外参数，这样可以避免对相机参数的依赖和相机参数偏移性能下降。带来的负面影响便是对数据更加依赖并且训练时长增加。

文章方法收敛曲线：

2. 方法设计

2.1 pipeline

文章方法的pipeline见下图所示：

在上图中已经对网络的整体结构和pipeline绘制清楚了，除了熟悉的CNN特征抽取网络之外，transformer encoder和bev transformer decoder是俩重要模块了：

• 1）在transformer encoder中，为了提升CNN网络特征对上下文的感知能力，使用self deformable attention在实现特征表达优化，可以见对应部分虚线连接部分。
• 2）bev transformer decoder，得到图像特征表达之后将构建bev grid通过cross deformable attention实现bev特征计算和表达。

2.2 transformer encoder中特征优化

通过CNN网络得到图像特征之后，这里使用多尺度deformable attention优化特征图，从而增大特征图上对于空间特征的感知能力，从而优化特征表达。

2.3 bev transformer decoder

在这部分中使用的是CNN不同尺度特征中$stride=32$的特征图，之后在多视图特征下使用多层全连接实现到bev特征的关联，其关联示意图见下图：

这里是在bev grid基础上添加bev position embedding共同组成bev query输入，之后通过全连接网络分别预测：图像特征上的reference point、4个reference point为基准的位置偏移系数、4个偏移系数确定的特征加权系数。这些预测结果共同组成后面的deformable attention操作，从而构建原始bev特征。

2.4 head decoder

在得到原始bev特征之后还需它上采样从而预测满足对应分辨率要求的特征图，对于这部分文章给出的结构如下：

上述文中一些变量对于最后性能的影响见下表所示：

3. 实验结果

nuScenes数据集下性能表现：