计算机视觉算法——基于深度学习的高精地图算法（HDMapNet / VectorMapNet / MapTR / VectorNet）

Posted 2023-02-04 Leo-Peng

计算机视觉算法——基于深度学习的高精地图算法（HDMapNet / VectorMapNet / MapTR / VectorNet）

• 计算机视觉算法——基于深度学习的高精地图算法（HDMapNet / VectorMapNet / MapTR / VectorNet）
• • 1. HDMapNet
  • • 1.1 网络结构及特点
    • • 1.1.1 Image and Point Cloud Encoder
      • 1.1.3 Bird's-eye View Decoder
    • 1.2 实验结果
  • 2. VectorMapNet
  • • 2.1 网络结构及特点
    • • 2.1.1 Map Element Detector
      • 2.1.2 Polyline Generator
      • 2.1.3 Training Loss
    • 2.2 实验结果
  • 3. MapTR
  • • 3.1 网络结构及特点
    • • 3.1.1 Map Decoder
      • 3.1.2 Permutation-Based Modeling and Matching
    • 3.2 实验结果
  • 4. VectorNet
  • • 4.1 网络结构及特点
    • • 4.1.1 Graph Node Encoder
      • 4.1.2 Graph Node Interaction
      • 4.1.3 Graph Node Decoder
      • 4.1.4 Training Loss
    • 4.2 实验结果

计算机视觉算法——基于深度学习的高精地图算法（HDMapNet / VectorMapNet / MapTR / VectorNet）

高精地图广泛应用于自动驾驶领域，传统的高精地图构建和使用算法通常是基于SLAM实现的，但是最近两年出现了很多基于深度学习的方法，例如HDMapNet、VectorMapNet和MapTR就介绍了如何通过NN直接利用感知信息构建矢量化的高精地图，而VectorNet介绍了如何使用NN直接对矢量化的高精地图信息进行编码，从而能高效地作为一路输入被系统所利用。下面

1. HDMapNet

HDMapNet为2021年发表的文章，原论文名为《HDMapNet: An Online HD Map Construction and Evaluation Framework》，该论文的主要目的是利用自动驾驶车辆上的环视相机和激光雷达对BEV视角下的地图元素进行矢量化。

1.1 网络结构及特点

网络结构如下图所示：

整个网络结构主要有Image and Point Cloud Encoder和Bird’s-eye View Decoder构成，输出分割结构后通过后处理输出结构化地图元素。

1.1.1 Image and Point Cloud Encoder

相机输入图片通过一个权重共享的特征提取网络编码为特征图${\mathcal{F}}_{{\mathcal{I}}_i}^{\mathrm{pv}}\subseteq {\mathbb{R}}^{H_{\mathrm{pv}}\times W_{\mathrm{pv}}\times K}$，然后通过MLP将特征图映射到BEV下，方法类似VPN，不同的是在本论文中显示地使用了相机的外参：$${\mathcal{F}}_{{\mathcal{I}}_i}^c[h][w]={\varphi }_{{\mathcal{V}}_i}^{hw}\left({\mathcal{F}}_{{\mathcal{I}}_i}^{\mathrm{pv}}[1][1],\dots ,{\mathcal{F}}_{{\mathcal{I}}_i}^{\mathrm{pv}}\left[H_{\mathrm{pv}}\right]\left[W_{\mathrm{pv}}\right]\right)$$其中${\varphi }_{{\mathcal{V}}_i}^{hw}$建立了从前视图特征到BEV特征的映射关系，最后在BEV下通过相机的外参将各个相机的特征进行加权平均。

激光的编码使用的PointPillar的方法，首先将三维空间划分为多个Pillar，使用PointNet将同一个Pillar中的激光点处理成特征：$$f_j^{\text{pillar }}=\mathrm{PN}\left(f_p\mid \forall p\in P_j\right)$$最后通过卷积网络${\varphi }_{\text{pillar }}$在BEV下对Pillar进行进一步特征提取得到${\mathcal{F}}_P^{\mathrm{bev}}$。

1.1.3 Bird’s-eye View Decoder

解码部分使用的Backbone是FCN，然后接三个输出头，其中第一个输出头进行车道语义分割；第二个输出头进行车道实例分割；第三输出头进行车道方向预测，这里我们详细介绍下车道实例分割和车道方向预测的设计：
车道实例分割是基于Instance Embedding实现，即同一个车道实例网络应该输出相同或接近的Instance Embedding，Instance Embedding的Loss定义如下：$$L_{var}=\frac{1}{C}\sum _{c=1}^C\frac{1}{N_c}\sum _{j=1}^{N_c}{\left[\Vert {\mu }_c-f_j^{\mathrm{instance}}\Vert -{\delta }_v\right]}_{+}^2$$$$L_{dist}=\frac{1}{C(C-1)}\sum _{c_A\ne c_B\in C}{\left[2{\delta }_d-\Vert {\mu }_{c_A}-{\mu }_{c_B}\Vert \right]}_{+}^2,$$$$L=\alpha L_{var}+\beta L_{\text{dist }}.$$其中$L_{var}$为方差损失，$L_{dist}$为距离损失。$C$为真值中车道实例的个数，$f_j^{\mathrm{instance}}$为第$j$个预测为实例$c$的Instance Embedding，$N_c$为预测为第c个车道实例中的像素个数， μ c \\mu_c 基于深度学习的目标检测算法综述

百万年薪社招 | 图像识别SLAM/VIO/SFM三维算法高精度地图感知/传感器融合方向

基于微软开源深度学习算法，用 Python 实现图像和视频修复

基于深度强化学习的区域化视觉导航方法

基于深度强化学习的区域化视觉导航方法

计算机视觉领域主流的算法和方向都有哪些？