[AutoCars]基于计算机视觉的无人车感知

Posted 2021-02-08 youngsea

1 传感器
无人车视觉传感器：超声波雷达（倒车）、毫米波雷达、LiDAR与摄像头。
激光雷达精度，速度高（厘米级），成本高；毫米波雷达可适应恶劣天气
2 KITTI数据集
（1）Stereo/Optical Flow数据集：两个摄像头
（2）视觉里程测量数据集
（3）三维物体检测数据集
（4）物体追踪数据集
（5）路面与车道检测数据集
3 计算机视觉能解决的问题：
（1）物体的识别与跟踪：识别（深度学习）：行人、行驶空间、地标、红绿灯、其他车辆；跟踪：Optical Flow运动预测算法
（2）车辆的定位（基于拓扑与地标的算法，基于几何的视觉里程计算法）
4 Optical Flow和立体视觉
Optical Flow：图片序列或视频中像素级的密集对应关系，例如在每个像素上估算一个二维的偏移矢量，得到的Optical Flow以二维的矢量场表示。---基于单个摄像头在连续时刻的图像。
立体视觉：从两个或更多的视觉得到的图像中建立对应关系。---基于多个摄像头在同一时刻的图片。
进展：Siamese神经网络
5 物体的识别与追踪
实时地识别与追踪多个运动目标（车辆，行人）。
基于深度学习的物体识别：输出有噪声，如物体识别不稳定，物体被遮挡，物体短暂误识别。
进展：基于马尔科夫决策过程（MDP）的MOT算法：基于有噪声的识别结果获得鲁棒的物体运动轨迹。
6 视觉里程计算法
（1）基于拓扑与地标的算法：把所有的地标组成一个拓扑图，当无人车监测到某个地标时，可以大致推断自身的位置。
条件：建立精准的拓扑图，比如将每个路口的标志物做出地标。
（2）基于几何的视觉里程计算法：无需预先建立精准的拓扑图，分成单目和双目两种。
单目：无法推算出观察到的物体的大小，需要假设物体的初步大小，或结合其他传感器（如陀螺仪）进行准确的定位。
双目:通过左右图的三角测量法计算出特征点的深度，然后从深度信息推算出物体的大小。