《HDMapNet：An Online HD Map Construction and Evaluation Framework》论文笔记

Posted 2022-12-01 m_buddy

参考代码：HDMapNet

1. 概述

介绍：在这篇文章中提出一种生成向量化高精地图（verctorized HD map）的方案，通过如IMU、GPS、Lidar等传感器数据融合可以生成全局的高精度定位信息，对于局部的信息是通过相机和Lidar实现的，其中最为关键便是行车过程中的车道信息。对于局部信息的获取方法是这篇文章的重点，其通过编码器处理环视图像和Lidar数据，之后将其映射到bev空间并引入时序得到融合信息表达，之后用于预测车道实例。

下图展示的便是生成高清地图的工作流程，通过将全局信息获取定位结果和局部信息融合得到精细化高精地图：

这里如何使用 全局信息获取部分定位并不是关注点重点，局部信息获取才是这篇文章着力想探讨的东西。

2. 方法设计

在局部信息获取流程中输入环视相机数据或者附加Lidar数据，各自经过对应编码器之后在bev下实现特征融合 ，之后用于预测车道实例。

2.1 编码器

图像数据编码：
图像数据经过CNN网络编码之后得到语义特征图，但是由于单纯的2D图像是很难获取实际深度值的，直接使用相机内外参数（假设深度为1）会导致投影出现偏差，对此文章中采用的是一种多层全连接将图像坐标数据映射到相机坐标下：
$$F_{I_i}^c[h][w]={\varphi }_{V_i}^{hw}(F_{I_i}^{pv}[1][1],\dots ,F_{I_i}^{pv}[H_{pv}][W_{pv}])$$
相机坐标下的数据再通过相机外参映射到世界坐标系下，相当于这一步处理过程隐式编码了深度信息。对于多个摄像头的场景通过取多个相机投射结果均值的方式获取最终的bev特征图，其从图像到bev完成信息投射的过程可以描述为下图的流程：

Lidar数据编码：
对于Lidar数据这里采用的是类似PointNet这样的点云数据处理网络，也就是下面的处理过程（$PN$代表点云处理网络）：
f j p i l l a r = P N ( f p ∣ ∀ p ∈ P j ) f_j^pillar=PN(\\f_p|\\forallp\\in P_j\\) fjpillar​=PN(fp​∣∀p∈Pj​)
之后这个特征经过几个卷积之后生成对应bev特征。

2.2 解码器

这里的解码其实就是车道信息的获取过程，其中设计到车道信息分割、车道实例信息获取、高精地图向量化元素获取，其中对于车道分割采用的是语义分割。

车道实例信息获取：
这里车道实例信息获取是采用LaneNet中信息聚类的形式得到的，也就是embedding空间中拉近统一类的距离，拉远不同类的距离。对于拉近同类的距离：
$$L_{var}=\frac{1}{C}\sum _{c=1}^C\frac{1}{N_c}\sum _{j=1}^{N_c}[||{\mu }_c-f_j^{instance}||-{\delta }_v{]}_{+}^2$$
再拉远不同车道线的特征表达：
$$L_{dist}=\frac{1}{C(C-1)}\sum _{c_A\ne c_B\in C}[||{\mu }_{c_A}-{\mu }_{c_B}||-2{\delta }_d{]}_{+}^2$$
之后将两者损失组合起来：
$$L=\alpha L_{var}+\beta L_{dist}$$

方向信息获取：
这里的方向指的是以当前某个像素为圆心，将其所在的周围圆周划分为$N_d$个angle class，前后像素点对应的方向上标签被设置为了1（其余对应为0），这样从当前位置就可通过朝向信息得到同一个实例下一个点的位置，也就是为：
$$C_{next}=C_{now}+{\Delta }_{step}\cdot D$$
其中，$C,{\Delta }_{step},D$分别代表位置、步长、预测出来的朝向。这样的朝向信息在后面的后处理中使用贪心策略实现车道的向量化。

3. 实验结果

语义分割与实例结果对比：