LR RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving

Posted 四积阴功五读书

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了LR RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving相关的知识,希望对你有一定的参考价值。

Abstract

提出一个轻量级定位方案, 基于便宜的相机和紧致的语义地图:

  • lane line
  • crosswalk
  • ground sign
  • stop line

语义地图的平均大小是: 36kb/km.

1. Introduction

量产车: production car

  • 点云地图占太多memory了.
  • HD map占用了太多人力, 很难保证及时的更新.

2. Literature Review

A. Traditional Visual SLAM

....

B. Road-based Localization

本文提出了在车建图, 在云端融合/更新.

3. System overview

需要传感器:

  • 前视相机,
  • RTK-GPS
  • IMU和轮速

车端建图:

语义图是在前视提取的, 建图, 然后上传云端.

云端建图:

融合多趟建图, 然后压缩成contour extraction.

4. On-Vehicle Mapping

A. Image Segmentation

用了CNN方法, 类似[23, 24, 25]. 多累检测, 地面, lane line, stop line, road marker, curb, vehicle, bike, human.

B. Inverse Perspective Transformation

因为透视的噪声, 越远的场景, 越大的误差. 我们只选择ROI, 接近相机中心的部分, 12mx8m.

假设地面是一个平面, 每个像素\\([u, v]\\)会被投影到地面(z=0):

\\[\\frac{1}{\\lambda}\\left[\\begin{array}{c} x^{v} \\\\ y^{v} \\\\ 1 \\end{array}\\right]=\\left[\\mathbf{R}_{c} \\mathbf{t}_{c}\\right]_{\\text {col }: 1,2,4}^{-1} \\pi_{c}^{-1}\\left(\\left[\\begin{array}{l} u \\\\ v \\\\ 1 \\end{array}\\right]\\right) \\]

这里 \\(\\pi_c(.)^{-1}\\)是反投影. R, t外参. 只用1, 2, 4因为z=0.

C. Pose Graph Optimization

及时用了RTK-GNSS, 也不能保证位姿是一直可靠的, 因为它只能在空旷区域提供厘米级别的位置.

用pose graph来align里程计和GNSS.

\\[\\min _{\\mathbf{s}_{0} \\ldots \\mathbf{s}_{n}}\\left\\{\\sum_{i \\in[1, n]}\\left\\|\\mathbf{r}_{o}\\left(\\mathbf{s}_{i-1}, \\mathbf{s}_{i}, \\hat{\\mathbf{m}}_{i-1, i}^{o}\\right)\\right\\|_{\\boldsymbol{\\sigma}}^{2}+\\sum_{i \\in \\mathcal{G}}\\left\\|\\mathbf{r}_{g}\\left(\\mathbf{s}_{\\mathbf{i}}, \\hat{\\mathbf{m}}_{i}^{g}\\right)\\right\\|_{\\boldsymbol{\\sigma}}^{2}\\right\\} \\]

D. Local Mapping

地图分成 \\(0.1\\times 0.1 \\times 0.1m\\) 的grid, 包含位置, 语义信息, 记录语义counter.

1624611423957

5. On-Cloud Mapping

A. Map Merging / Updating

根据位置, local map会被加入到grid map里. 详见上图.

B. Map Compression

6. User-End Localization

A. Map Decompression

恢复稠密点云.

B. ICP Localization

\\[\\mathbf{q}^{*}, \\mathbf{p}^{*}=\\underset{\\mathbf{q}, \\mathbf{p}}{\\arg \\min } \\sum_{k \\in \\mathcal{S}}\\left\\|\\mathbf{R}(\\mathbf{q})\\left[\\begin{array}{c} x_{k}^{v} \\\\ y_{k}^{v} \\\\ 0 \\end{array}\\right]+\\mathbf{p}-\\left[\\begin{array}{c} x_{k}^{w} \\\\ y_{k}^{w} \\\\ z_{k}^{w} \\end{array}\\right]\\right\\|^{2} \\]

7. Experimental Results

A. Map Production

需要RTK-GPS, 前视相机, IMU和轮速编码器.

路算的总长是 22km, raw semantic map是16.7MB, 压缩的是0.786MB, 平均大小是36KB/KM.

B. Localization Accuracy

我们用Lidar的方法来评测. 对于自动驾驶任务, 我们专注在x, y, yaw的精度.

8. Conclusion & Future Work

没啥.

以上是关于LR RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving的主要内容,如果未能解决你的问题,请参考以下文章

Embarcadero RAD Studio 2016 Product Approach and Roadmap

Master Plan for becoming a Software Architect : Roadmap of a Software Architect

全栈老司机roadmap笔记-------- javascript

高屋建瓴 cocos2d-x-3.0架构设计 Cocos2d (v.3.0) rendering pipeline roadmap(原文)

RAD Studio August 2018 Roadmap

roadmap