GS3D论文精读

Posted 2022-12-15 unbekannten

一、前期准备

3D目标检测集合：https://blog.csdn.net/unbekannten/article/details/127989929

Gs3d: An efficient 3d object detection framework for autonomous driving
论文地址：https://arxiv.org/abs/1903.10955
代码地址：暂未开源

二、核心思想

CNN检测器2D+O预测物体的2DBBox和方向（观测角，即局部角）
基于预测信息生成3D guidance
从物体可视面提取特征并细化

解决问题：
1）相较于经典3D目标检测（如Mono3D），在3D空间进行滑窗的方式会非常耗费时间与计算资源
2）仅使用二维边界框导致的特征表示模糊性

三、相关工作

暂略 Mono3D

四、本文方法

问题定义

采用KITTI数据集的三维坐标系：坐标原点在相机中心，x轴向右，y轴向下，z轴指向与图像平面正交的内部方向。
3DBox表示为B =（w、h、l、x、y、z、θ、φ、ψ） (w, h, l)表示长宽高，(x，y，z)是底面中心的相机坐标，θ、φ、ψ分别是围绕y轴、x轴和z轴的旋转。由于我们的目标对象都在地面上，只考虑θ旋转
2DBox表示为B2d =（x2d，y2d，w2d，h2d）
已有条件：RGB图像、相机内参矩阵K、数据集各类目标的平均尺寸

网络架构

以RGB图像作为输入，其总体流程如下：
①首先使用CNN预测出2D检测框与目标的偏转角，2D+O子网络
②利用预测的结果与先验知识生成粗糙的3D框，称为guidance
③将guidance投影到2D图像上提取目标的可视表面，3D子网络
④利用可视表面的特征对guidance进行微调

4.1 2D+O预测2DBox和方向

基于Faster R-CNN 框架进行改进，增加了一个方向预测的分支，通过多分支预测2D检测框的对象类型、2D边框、以及目标的角度。

与Deep3DBox类似，预测相对偏航角α，而不是直接预测偏航角θ，（因为目标的偏航角不变时，其图像随着目标与相机的相对位置不同而变化，这就会导致多对一的问题）

预测出α后可以通过右侧的公式来计算偏航角θ，(在Deep3DBox中γ通过图像中目标中心偏离图像中线的角度来计算)，本文通过arctan(x/z)，x, z就是后续预测的目标底面中心的坐标

4.2 生成guidance

给定B2d=(x2d, y2d, h2d, w2d)，观测角α，相机固有参数K
预测Bg = (wg, hg, lg, xg, yg, zg, θg)
1)guidance尺寸估计
数据集中各类目标的尺寸分布方差都较小，guidance的尺寸（w, h, l）等于平均尺寸
2)guidance坐标估计
假设3D车辆顶面的中心投影在2D图像上为2D检测框的上边中点;3D车辆底面的中心投影到2D图像上为2D检测框的下边中点，根据这个假设，粗略的估计3D车辆的中心位置。

3) 角度估计
已知观测角α，则全局角用上述角度公式即可

4.3 表面特征提取

基于Guidance提取2D图像中目标的可视表面，并对各个面提取特征，为3D边框的进一步调整提供信息。由Guidance可以得到目标每个可视表面的四个顶点，但是直接对这种的斜四边形卷积提取特征的话会导致过多的冗余信息，因此首先通过映射变换将每个面转换为规则的图像（例如5×5），其映射矩阵可以通过变换前后的角点对应来计算。之后对得到的规则图像进行特征提取，最后与2D bbox的特征进行concat一起用于refine。

使用引导的3DBox的投影表面的区域来提取三维结构指定特征。物体底面不可见，表面可见，对于4个其他方向由物体的观测方向α决定。KITTI坐标系中，我们有α∈(−π，π]，观察者的右手方向为零角（α = 0），顺时针方向为正旋转。所以当α > 0时，正面可见，当α < 0时，背面可见。当−π/2 < α < π/2时，右侧可见，否则可见左侧。

4.4 细化

残差公式校准，暂略

五、损失函数

暂略

六、实验实施

暂略

七、相关参考链接

https://blog.csdn.net/qq_29462849/article/details/91318394
https://blog.csdn.net/qq_38574198/article/details/115350140
https://blog.csdn.net/dtjun_sjtu/article/details/118876953
https://blog.csdn.net/wqwqqwqw1231/article/details/100857257
https://zhuanlan.zhihu.com/p/274356707
https://zhuanlan.zhihu.com/p/60844415