自动驾驶感知系统实现（车道线检测和拟合目标检测与跟踪道路可行驶区域分割深度估计图像视野到BEV空间映射像平面到地平面映射）

Posted 2022-02-24 踟蹰横渡口,彳亍上滩舟。

自动驾驶感知系统实现（车道线检测和拟合、目标检测与跟踪、道路可行驶区域分割、深度估计、图像视野到BEV空间映射、像平面到地平面映射）

项目下载地址：项目下载地址
推理引擎下载地址：推理引擎下载地址

支持的功能

包含的功能：

1. 车道线检测+车道线拟合；
2. 2D目标检测+目标跟踪；
3. 道路可行驶区域分割；
4. 目标深度估计；
5. 图像视野到BEV空间映射（Normal View -> Top View）；
6. 像平面到地平面映射（image plane -> ground plane in world coordinate system）

支持的计算平台

• Windows 10 (x64) + Visual Studio 2019
  • Intel Core i7-6700 @ 3.4GHz + NVIDIA GeForce GTX 1070
• Jetson Xavier NX. JetPack 4.6
  • You will get error if using JetPack 4.5 or before because of TensorRT error

支持的深度学习框架

• TensorFlow Lite with XNNPACK delegate
  • CPU
  • Note: Running with CPU is very slow
• TensorRT
  • GPU
    

运行命令

./main [input]
 - input:
    - use the default image file set in source code (main.cpp): blank
        - ./main
     - use video file: *.mp4, *.avi, *.webm
        - ./main test.mp4
     - use image file: *.jpg, *.png, *.bmp
        - ./main test.jpg
    - use camera: number (e.g. 0, 1, 2, ...)
        - ./main 0
    - use camera via gstreamer on Jetson: jetson
        - ./main jetson

下载模型和相关资源

    sh ./download_resource.sh

编译WINDOWS版本和LINUX版本

• main.sln

mkdir build && cd build
# cmake .. -DENABLE_TENSORRT=off
cmake .. -DENABLE_TENSORRT=on
make
./main

模型相关信息和测试性能

• Object Detection
  • YOLOX-Nano, 480x640
  • https://github.com/PINTO0309/PINTO_model_zoo/blob/main/132_YOLOX/download_nano_new.sh
  • https://github.com/PINTO0309/PINTO_model_zoo/blob/main/132_YOLOX/download_nano.sh
• Lane Detection
  • Ultra-Fast-Lane-Detection, 288x800
  • https://github.com/PINTO0309/PINTO_model_zoo/blob/main/140_Ultra-Fast-Lane-Detection/download_culane.sh
• Road Segmentation
  • road-segmentation-adas-0001, 512x896
  • https://github.com/PINTO0309/PINTO_model_zoo/blob/main/136_road-segmentation-adas-0001/download.sh
• Depth Estimation
  • LapDepth, 192x320
  • https://github.com/PINTO0309/PINTO_model_zoo/blob/main/148_LapDepth/download_ldrn_kitti_resnext101.sh
  • LapDepth, 256x512
  • 00_doc/pytorch_pkl_2_onnx_LapDepth.ipynb

Performance

Model	Jetson Xavier NX	GTX 1070
== Inference time ==
Object Detection	10.6 ms	6.4 ms
Lane Detection	9.6 ms	4.9 ms
Road Segmentation	29.1 ms	13.5 ms
Depth Estimation	55.2 ms	37.8 ms
== FPS ==
Total (All functions)	6.8 fps	10.9 fps
Total (w/o Segmentation, Depth)	24.4 fps	33.3 fps