Lidar 激光雷达与自动驾驶

Posted 2021-10-29 架构师易筋

激光雷达（/升aɪ d ɑːr /，也LIDAR，或激光雷达;有时LADAR）是用于确定的方法的范围由与靶向的物体（可变距离）激光并测量时间的反射光返回到接收器。由于激光返回时间的差异和不同的激光波长，激光雷达还可用于制作地球表面和海底区域的数字3-D 表示。它具有地面、机载和移动应用程序。[1] [2]

激光雷达是“光探测和测距” [3]或“激光成像、探测和测距”的缩写。[4]激光雷达有时也称为3-D 激光扫描，是3-D 扫描和激光扫描的特殊组合。[5]

激光雷达通常用来制造高分辨率地图，并在应用中测量，大地测量，地理信息，考古学，地理学，地质学，地貌，地震学，林业，大气物理，[6] 激光导引，机载激光扫描带映射（ALSM），和激光测高。该技术还用于一些自动驾驶汽车的控制和导航[7]以及直升机 Ingenuity在其创纪录的火星地形飞行中. [8]

1. 历史和词源

在马尔科姆·斯蒂奇( Malcolm Stitch)的指导下，休斯飞机公司于 1961 年推出了第一个类似激光雷达的系统，[9] [10]在激光发明后不久。该系统旨在用于卫星跟踪，将激光聚焦成像与通过使用适当的传感器和数据采集电子设备测量信号返回的时间来计算距离的能力相结合。它最初被称为“Colidar”，是“相干光检测和测距”的首字母缩写词，[11]源自术语“雷达”，它本身就是“无线电检测和测距”的首字母缩写词。所有激光测距仪、激光高度计和激光雷达装置均源自早期的激光雷达系统。Colidar 系统的第一个实际地面应用是“Colidar Mark II”，这是一种大型步枪式激光测距仪，于 1963 年生产，射程为 7 英里，精度为 15 英尺，用于军事目标。[12] [10] 1963 年第一次提到激光雷达作为一个独立的词表明它起源于“光”和“雷达”的混合词：“最终，激光可能会提供一个对来自远处物体的特定波长的极其敏感的探测器. 同时，它被‘激光雷达’（光雷达）用来研究月球……” [13] [14] 名称“光子雷达”" 有时用于表示像激光雷达这样的可见光谱测距。[15] [16]

激光雷达的第一个应用是气象学，国家大气研究中心用它来测量云和污染。[17] 1971 年，在阿波罗 15 号任务期间，当宇航员使用激光高度计绘制月球表面图时，公众开始意识到激光雷达系统的准确性和实用性。尽管英语不再将“radar”视为首字母缩写词（即未大写），但在 1980 年代开始的一些出版物中，“lidar”一词被大写为“LIDAR”或“LiDAR”。关于资本化没有达成共识。各种出版物将激光雷达称为“LIDAR”、“LiDAR”、“LIDaR”或“Lidar”。在美国地质调查局有时在同一个文档中同时使用“LIDAR”和“lidar”；[18]在纽约时报主要使用“激光雷达”的工作人员撰写的文章，[19]尽管路透社可以使用激光雷达贡献的新闻提要等。[20]

1.1 一般描述

激光雷达使用紫外光、可见光或近红外光对物体成像。它可以针对多种材料，包括非金属物体、岩石、雨水、化合物、气溶胶、云甚至单个分子。[6]窄激光束可以以非常高的分辨率绘制物理特征；例如，一架飞机可以以 30 厘米（12 英寸）或更高的分辨率绘制地形图。[21]

激光雷达的基本概念是由EH Synge于 1930 年提出的，他设想使用强大的探照灯来探测大气层。[22] [23]事实上，激光雷达从此被广泛用于大气研究和气象学。安装到雷达仪器的飞机和卫星进行测量和制图-最近的一个例子是美国地质调查局的实验先进的机载激光雷达研究。[24] NASA已将激光雷达确定为实现未来机器人和载人登月车辆自主精确安全着陆的关键技术。[25]

波长因目标而异：从大约 10微米（红外线）到大约 250纳米（紫外线）。通常，光是通过反向散射反射的，而不是用镜子可能会发现的纯反射。不同类型的散射用于不同的激光雷达应用：最常见的是瑞利散射、米氏散射、拉曼散射和荧光。[6]合适的波长组合可以通过识别返回信号强度中与波长相关的变化，从而对大气成分进行远程测绘。[26] “光子雷达”这个名称有时用于表示像激光雷达这样的可见光谱测距，[15] [16]尽管光子雷达更严格地指的是使用光子学组件的射频测距。

1.2 传感器

激光雷达使用有源传感器提供自己的照明源。能量源撞击物体，反射的能量由传感器检测和测量。通过记录传输脉冲和反向散射脉冲之间的时间并使用光速计算行进距离来确定到物体的距离。[30]闪光激光雷达允许 3-D 成像，因为相机能够发出更大的闪光，并通过返回的能量感知感兴趣区域的空间关系和尺寸。这允许更准确的成像，因为捕获的帧不需要拼接在一起，并且系统对平台运动不敏感，从而减少失真。[31]

使用扫描和非扫描系统都可以实现 3-D 成像。“3-D门控激光雷达”是一种应用脉冲激光和快速门控相机的非扫描激光测距系统。使用数字光处理(DLP) 技术进行虚拟光束控制的研究已经开始。

成像激光雷达也可以使用高速探测器阵列和调制敏感探测器阵列来执行，这些探测器阵列通常使用互补金属氧化物半导体(CMOS) 和混合 CMOS/电荷耦合器件(CCD) 制造技术构建在单个芯片上。在这些设备中，每个像素都执行一些局部处理，例如高速解调或选通，将信号下变频为视频速率，以便可以像相机一样读取阵列。使用这种技术可以同时获取数千个像素/通道。[32]高分辨率 3-D 激光雷达相机使用零差检测和电子 CCD 或 CMOS快门。[33]

相干成像激光雷达使用合成阵列外差检测，使凝视单元接收器能够像成像阵列一样工作。[34]

2014 年，林肯实验室宣布推出一款新的成像芯片，其像素数超过 16,384，每个都能够对单个光子成像，从而使它们能够在单个图像中捕捉大面积区域。2010 年 1 月海地地震后，美军使用了较早一代的技术，像素数是其四分之一；一架公务机从太子港 3,000 米（10,000 英尺）的高空飞过，能够以 30 厘米（12 英寸）的分辨率捕捉到城市 600 平方米的瞬时快照，显示精确的高度城市街道上散落的瓦砾。[35]林肯系统的速度提高了 10 倍。芯片采用砷化铟镓(InGaAs)，它在相对较长的波长的红外光谱中工作，允许更高的功率和更长的范围。在许多应用中，例如自动驾驶汽车，新系统不需要机械组件来瞄准芯片，从而降低成本。InGaAs 使用的波长比在可见波长下工作的传统硅探测器的危害更小。[36]

2. 自动驾驶汽车

自动驾驶汽车可以使用激光雷达进行障碍物检测和避让，以在环境中安全导航。[7] [84]激光雷达的引入是一个关键事件，它是斯坦利背后的关键推动因素，斯坦利是第一辆成功完成DARPA 大挑战的自动驾驶汽车。[85]激光雷达传感器的点云输出为机器人软件提供必要的数据，以确定环境中潜在障碍物的位置以及机器人与这些潜在障碍物的关系。新加坡的新加坡-麻省理工学院研究与技术联盟 (SMART)正在积极开发自动激光雷达车辆技术。[86]产生在车辆的自动化常用激光雷达传感器公司的实例是法雷奥，[87] ，LUMINAR，[88]和AHP [89]和Velodyne。[90]利用激光雷达传感器的障碍物检测和回避产品的例子是 Autonomous Solution, Inc. Forecast 3-D Laser System [91]和Velodyne HDL-64E。[92]自动驾驶汽车模拟器中也提供了激光雷达模拟模型。[93]

的非常第几代汽车的自适应巡航控制系统中使用的仅激光雷达传感器。

2.1 交通系统的目标检测

在交通系统中，为了确保车辆和乘客的安全并开发提供驾驶员辅助的电子系统，了解车辆及其周围环境至关重要。激光雷达系统在运输系统的安全中发挥着重要作用。许多增加驾驶员辅助和车辆安全性的电子系统，例如自适应巡航控制 (ACC)、紧急制动辅助系统和防抱死制动系统(ABS)，都依赖于对车辆环境的检测以自动或半自动运行。激光雷达测绘和估计实现了这一点。

基础概述：当前的激光雷达系统使用旋转六边形反射镜来分离激光束。上面的三个光束用于检测前方车辆和障碍物，下面的光束用于检测车道标记和道路特征。[94]使用激光雷达的主要优点是可以获得空间结构，并且这些数据可以与其他传感器（如雷达）融合等，以便根据环境中存在的物体的静态和动态特性更好地了解车辆环境。相反，激光雷达的一个重要问题是在恶劣的天气条件下难以重建点云数据。例如，在大雨中，从激光雷达系统发出的光脉冲会被雨滴部分反射，这会给数据增加噪声，称为“回声”。[95]

下面提到了处理激光雷达数据的各种方法，并通过传感器融合将其与来自其他传感器的数据一起使用来检测车辆环境条件。

2.2 使用 3-D 激光雷达和融合雷达测量的基于 GRID 的处理

在这种由 Philipp Lindner 和 Gerd Wanielik 提出的方法中，使用多维占用网格处理激光数据。[96]来自四层激光器的数据在信号级别进行预处理，然后在更高级别进行处理以提取障碍物的特征。使用二维和三维组合的网格结构，并将这些结构中的空间镶嵌分成几个离散的单元格。这种方法允许通过将大量原始测量数据收集在空间容器（证据网格的单元格）中来有效处理这些数据。每个单元格都与标识单元格占用的概率度量相关联。该概率是通过使用随时间获得的激光雷达传感器的距离测量值和新的距离测量值来计算的，这些测量值使用贝叶斯定理相关联. 二维网格可以观察到它前面的障碍物，但不能观察到障碍物后面的空间。为了解决这个问题，障碍物后面的未知状态的概率为 0.5。通过引入第三维或换句话说，使用多层激光，可以将物体的空间配置映射到网格结构中，以达到一定程度的复杂性。这是通过将测量点转换为三维网格来实现的。被占用的网格单元将拥有大于 0.5 的概率，并且映射将基于概率进行颜色编码。未被占用的单元格的概率小于 0.5，该区域通常是空白区域。然后，通过使用车辆上的传感器位置和世界坐标系中的车辆位置，将该测量值转换为网格坐标系。传感器的坐标取决于它在车辆上的位置，车辆的坐标是使用自我运动估计，即估计车辆相对于刚性场景的运动。对于这种方法，必须定义网格轮廓。通过应用Bresenham’s line algorithm计算被透射激光束接触的网格单元。为了获得空间扩展结构，需要对这些细胞进行连通分量分析。然后将此信息传递给旋转卡尺算法以获得对象的空间特征。除了激光雷达检测外，还集成了使用两个短距离雷达获得的 RADAR 数据，以获得目标的其他动态属性，例如其速度。使用潜在距离函数将测量值分配给对象。

优点和缺点
使用旋转卡尺算法，从 3-D 占用网格获得的测量中有效地提取对象的几何特征。将雷达数据与激光雷达测量结果相融合，可提供有关障碍物动态特性的信息，例如传感器位置的障碍物的速度和位置，这有助于车辆或驾驶员决定要执行的操作以确保安全。唯一需要担心的是实现这种数据处理技术的计算要求。如果 3-D 占用网格大小受到很大限制，它可以实时实施并且已被证明是有效的。但是，对于 3-D 网格表示，可以通过使用更有效地操作空间数据的专用空间数据结构将其改进到更大的范围。

2.3 3-D 激光雷达和彩色相机的融合，用于多物体检测和跟踪

Soonmin Hwang 等人在该方法中提出的框架，[97]分为四个步骤。首先，来自相机和 3-D 激光雷达的数据被输入到系统中。来自激光雷达和相机的输入是并行获得的，并且来自相机的彩色图像使用激光雷达进行校准。为提高效率，应用水平 3-D 点采样作为预处理。其次，分割阶段是将整个 3-D 点根据与传感器的距离分为几组，并依次估计从近平面到远平面的局部平面。使用统计分析来估计局部平面。靠近传感器的一组点用于计算初始平面。通过使用当前局部平面，通过迭代更新估计下一个局部平面。2-D 图像中的对象提议用于将前景对象与背景分开。[98] BING 是归一化梯度及其二值化版本的组合，可加快特征提取和测试过程，以估计图像窗口的对象性。这样，前景和背景对象就分开了。为了在使用 BING 估计图像的对象性后形成对象，将 3-D 点分组或聚类。聚类是使用DBSCAN（基于密度的噪声应用空间聚类）算法完成的，该算法由于其参数较少的特性而具有鲁棒性。使用聚类的 3-D 点，即 3-D 段，通过在 2-D 图像上投影 3-D 点来生成更准确的感兴趣区域 (RoI)。[99]第三步是检测，大致分为两部分。首先是使用 Fast R-CNN [100]实现的 2-D 图像中的对象检测，因为该方法不需要训练，并且还考虑了图像和多个感兴趣区域。其次是使用自旋图像方法在 3-D 空间中进行的物体检测。[101]该方法提取局部和全局直方图来表示某个对象。为了合并 2-D 图像和 3-D 空间对象检测的结果，考虑相同的 3-D 区域，并将来自 2-D 图像和 3-D 空间的两个独立分类器应用于所考虑的区域。分数校准[102]这样做是为了从两个检测器中获得单个置信度分数。这个单一的分数是以概率的形式获得的。最后一步是跟踪。这是通过关联当前帧和过去帧中的移动对象来完成的。对于对象跟踪，采用段匹配。计算平均值、标准偏差、量化颜色直方图、体积大小和段的 3-D 点数等特征。欧几里德距离用于测量段之间的差异。为了判断物体的出现和消失，从两个不同的帧中获取相似段（基于欧几里德距离获得），并计算物理距离和相异度分数。如果前一帧中每个片段的分数超出范围，则认为被跟踪的对象已经消失。

优点和缺点
这种方法的优点是同时使用 2-D 图像和 3-D 数据，F l-score（它给出了测试准确度的度量），平均精度（AP）比仅使用激光雷达的 3-D 数据时更高用过的。这些分数是判断框架的常规测量值。这种方法的缺点是使用 BING 进行对象提议估计，因为 BING 预测一小组对象边界框。

2.4 使用激光雷达进行障碍物检测和道路环境识别

周昆等人提出的这种方法。[103]不仅专注于对象检测和跟踪，而且还识别车道标记和道路特征。如前所述，激光雷达系统使用旋转六边形反射镜，将激光束分成六束。上三层用于检测前方物体，如车辆和路边物体。传感器由耐候材料制成。激光雷达检测到的数据被聚类成几个片段，并通过卡尔曼滤波器进行跟踪. 这里的数据聚类是基于对象模型的每个段的特征进行的，它区分不同的对象，如车辆、招牌等。这些特征包括对象的尺寸等。车辆后缘的反射器用于将车辆与其他物体区分开来。考虑到跟踪的稳定性和对象的加速运动，使用 2 级卡尔曼滤波器完成对象跟踪[94]激光雷达反射强度数据也用于路缘检测，通过使用鲁棒回归来处理遮挡。通过区分粗糙和有光泽的表面，使用改进的 Otsu 方法检测道路标记。[104]

好处
由于各种原因，指示车道边界的路边反射器有时会被隐藏。因此，需要其他信息来识别道路边界。该方法中使用的激光雷达可以测量来自物体的反射率。因此，通过该数据也可以识别道路边界。此外，即使在恶劣的天气条件下，使用具有防风雨头的传感器也有助于检测物体。洪水前后的冠层高度模型就是一个很好的例子。激光雷达可以检测高度详细的冠层高度数据及其道路边界。

激光雷达测量有助于识别障碍物的空间结构。这有助于根据大小区分对象并估计驾驶时的影响。[96]

激光雷达系统提供更好的范围和大视野，有助于检测弯道上的障碍物。这是相对于具有较窄视场的雷达系统的一大优势。激光雷达测量与不同传感器的融合使系统在实时应用中变得稳健且有用，因为依赖于激光雷达的系统无法估计有关被检测物体的动态信息。[96]

研究表明，激光雷达可以被操纵，从而诱使自动驾驶汽车采取规避行动。[105]

3. 其他用途

iPad Pro（第 4 代）上的激光雷达扫描仪
对于2007年的歌曲“的视频纸牌屋”，由电台司令被认为是第一次使用实时3 d激光扫描录制的音乐视频。视频中的距离数据并不完全来自激光雷达，因为还使用了结构光扫描。[192]

2020 年，Apple推出了第四代 iPad Pro，其后置摄像头模块中集成了激光雷达扫描仪，专为增强现实(AR) 体验而开发。[193]该功能后来被包含在iPhone 12 Pro 和 iPhone 12 Pro Max 中。[194]

参考

https://en.wikipedia.org/wiki/Lidar