视觉在自动泊车系统中的设计与实现和挑战综述

Posted 2022-12-04 Being_young

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了视觉在自动泊车系统中的设计与实现和挑战综述相关的知识，希望对你有一定的参考价值。

文章：Computer Vision in Automated Parking Systems: Design, Implementation and Challenges

作者：Markus Heimberger, Jonathan Horgan, Ciaran Hughes, John McDonald, Senthil Yogamani

编辑：点云PCL

来源：arXiv 2021

欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

自动驾驶是工业界和学术界研究的活跃领域。自动泊车（Automated Parking）是一种全自动驾驶系统的关键赋能产品，是一种在有限的低速泊车场景下的自动驾驶。从上一代驾驶员辅助系统（包括碰撞警告、行人检测等）构建的高端系统的角度来看，这是一个重要的里程碑。在本文中，我们从计算机视觉算法的角度讨论了自动泊车系统的设计和实现。设计出具有功能安全的低成本系统是具有挑战性，并导致原型和最终产品之间的巨大差距，以处理所有corner case 的情况。我们演示了相机系统对于解决一系列自动泊车用例以及如何基于主动测距传感器（如超声波和雷达）的系统的鲁棒性进行增强是至关重要。实现泊车用例的关键视觉模块是3D重建、停车位标记识别、可行驶空间和车辆/行人检测。我们详细介绍了重要的停车用例，并演示了如何组合视觉模块以形成一个稳健的停车系统。据作者所知，这是第一次系统性的详细讨论商业自动泊车领域的文章。

介绍

第一代泊车系统是使用超声波或雷达的半自动泊车系统，增加摄像机传感器对其进行了改进，以提供更为健壮和通用的解决方案。在本文中，我们将摄像头视为停车系统的一个重要组成部分，扩展了其他传感器的功能或提供了廉价的替代品。图1显示了常见ADAS应用程序的各种视图，其中一些应用程序是停车系统所需的。

图1：基于相机的ADAS应用程序及其各自的视场角

通常，环视摄像头系统由四个传感器组成，形成一个具有小重叠区域的网络，足以覆盖汽车周围的近场区域。图2显示了像这样的典型摄像机网络的四个视图。需要注意的是，摄像头的设计和定位是为了最大限度地提高近场感知性能（这对于自动泊车很重要）。作为近场感知设计的一部分，使用广角镜头覆盖大视场。因此，算法设计必须与鱼眼相机的失真作斗争，这不是一个无关紧要的挑战，因为计算机视觉的大多数学术文献都集中在等距相机模型上，或者最多只有轻微径向失真的相机上。

图2：来自全景摄像头的示例图像，展示了近场感应和宽视场。

设计泊车系统有许多挑战，由于功能安全方面、事故风险和消费者舒适性（例如，汽车不能停车，驾驶员无法打开车门），因此对精度要求很高。基础设施相对未知，可能存在车辆、行人、动物等动态交互对象，不同的环境条件也可能发挥巨大作用。例如，低光条件和不利天气（如雨、雾）会显著抑制精度和检测范围。还有一个商业方面可以限制低功耗嵌入式系统上可用的计算能力。另一方面，与全自动驾驶相比，停车场景在可能性方面受到了更多限制。车速较低，为决策提供了足够的处理时间。相机运动受到明确定义的感兴趣区域的限制。基础设施可能会帮助缓解这一问题，特别是找到并导航到空的停车位，虽然在这项工作中，我们没有讨论任何基础设施支持，但作者认为这将是自动停车解决方案的重要组成部分。自动泊车的术语可以指的是一种智能基础设施，它管理汽车在机械停车场的放置，通常是多层或嵌入汽车中的智能电子系统。一个简单的文献检索表明，大多数结果对应于这个意思，而不是我们使用的意思。论文[4] 和[5]最接近基于全视觉的自动停车系统。这些论文只关注计算机视觉算法。相比之下，在本文中，我们的目标是从详细描述使用案例和扩展所需的基本计算机视觉模块的角度，对计算机视觉在停车场中的使用进行更全面的回顾。

这篇文章结构如图3，给出了设计自动泊车系统时的决策流程的高级概述，事实上，通过自适应，大多数ADAS功能，以及每个阶段需要考虑的一些设计决策。设计中最大的限制因素是硬件选择，因为与商用电子系统相比，汽车系统具有更严格的约束（如成本、安全因素、标准遵守、热问题等）。

图3：基于相机的泊车系统设计决策流程

硬件组件

在本节中，我们概述了构成泊车系统的硬件组件，强调了安全方面的作用和商业方面的计算限制。

2.1 ECU系统和电子设备接口

在高层，有两种类型的摄像机系统，独立摄像机，具有紧密集成在摄像机外壳中的小型嵌入式系统。这对于像后视摄像头这样的较小应用来说就足够了。但对于更复杂的应用，相机通常通过额外的接口电子设备连接到强大的外部SOC。如图2所示，对于具有4个摄像头输入的典型环视系统，空间分离的摄像头必须连接到中央ECU。与其他系统相比，视频的数据带宽要求很高，这给SOC带来了许多挑战和限制。传感器的原始数字输出通常为10/12位，但SOC的视频输入端口可能仅支持8位，这要求外部ISP将深度压缩到8位。分辨率和帧速率等其他简单因素可能会使系统要求加倍，SOC和相机之间的连接通常通过双绞线或同轴电缆连接。

图5：视觉系统框架图

图5说明了使用的两种备选方法。串行器和解串行器（统称为SerDes）的使用以及通过同轴电缆的更为常见，因为其高带宽为1 Gbps/通道，同轴电缆接口采用欧洲OEM常用的Fakra连接器，以太网接口和双绞线电缆是一种更便宜的选择，但其带宽相对有限，为100 Mbps。为了弥补这一缺陷，在传输之前执行运动JPEG，这导致了单独拥有完整的ISP和用于MJPEG的转换芯片的限制。另一种选择可以利用SOC ISP。以太网摄像机两端还需要更复杂的电子电路。千兆以太网可以用于实现更高的带宽，但它更昂贵，并且无法达到降低成本的目的。

大多数现代SOC接口都是数字和串行的。MIPI（移动工业处理器接口）标准化了摄像机输入CSI（摄像机串行接口）和DSI（显示器串行接口）的串行接口。这些接口在下面实现为LVDS（低压差分信号）连接器。CSI2是当前一代，带宽为1 Gbps/通道。OLDI（Open LVDS Display Interface，开放式LVDS显示接口）是在裸金属LVDS上工作的开放式LVDS接口。除了串行接口外，一些SOC还提供并行接口。尽管并行接口提供了更大的带宽，但它们需要更大的布线和更复杂的电路，这是不可扩展的。

2.2 相机

相机组件通常由成像传感器、光学系统和可选的ISP HW光学系统组成：光学系统由镜头、光圈和快门组成。这些分量通过焦距（f）、孔径（d）、视场（FOV）和光学传递函数（OTF）被捕获在相机矩阵中。动态范围：图像传感器的动态范围描述传感器可以捕获的亮度范围的下限和上限之间的比率。图像传感器在下限以下捕获的场景的部分将被剪裁为黑色或低于传感器的噪声基底，相反，高于上限的那些部分将被图像传感器饱和为白色。对于传感器变为高动态范围（HDR）的动态范围没有特定阈值，而是该术语通常应用于采用特定机制来实现比常规传感器更高动态范围的图像传感器类型。灵敏度：像素的灵敏度测量像素在单位时间内对照度的响应。许多因素都会影响像素的灵敏度，例如硅纯度、像素架构设计、微透镜设计等。然而，最大的因素之一就是像素的物理尺寸。面积较大的像素将能够收集更多的光子，从而对较低的照度有更大的响应。然而，通过增加像素大小来提高灵敏度将产生降低空间分辨率的影响[6]。信噪比：对于来自信号处理背景的工程师来说，信噪比可能是最直观的特性。它是信号强度（或电平）与成像仪中噪声源的比值。主要问题是，图像传感器制造商用于测量噪声的方法是非标准的，因此很难基于SNR对不同图像传感器类型进行比较。此外，所通告的SNR将基于固定场景，而所接收的图像的实际SNR将取决于场景，并受应用于信号的像素曝光时间和增益因子以及其他因素的影响。ISP：将传感器的原始信号转换为可视格式包括各种步骤，如去层、去噪和高动态范围处理。这些步骤统称为图像信号处理（ISP）。大多数ISP通常在硬件中完成，要么在传感器本身中完成，作为配套芯片ISP，要么在主SOC（片上系统）中完成。从根本上讲，ISP是应用程序将捕获的图像转换为可用格式所需的步骤。

2.3 SOC

嵌入式系统SOC选择的典型设计约束是性能（MIPS、利用率、带宽）、成本、功耗、散热、高低端可扩展性和可编程性。与手持设备不同，功耗不是主要标准，因为它由汽车电池供电。散热的重要性仅达到一个阈值，并可能通过更好的散热器增加成本。可编程性通过OpenCL等软件框架变得抽象化，并不是成本的主要因素。因此，对于ADAS来说，主要因素最终归结为成本和性能。由于处理器的多样性，这通常是一个很难做出的决定。通常通过MIPS比较处理器是没有用的，因为利用率在很大程度上取决于算法的性质。因此，基于供应商库和估计的给定应用程序列表的基准分析对于选择合适的SOC至关重要。结合完全可编程、半可编程和硬编码处理器的混合架构可能是一个很好的摊销风险选项。商用汽车级SOC的例子有德州仪器TDA2x、英伟达Tegra X1、瑞萨R-car H3等。

自动泊车使用案例

3.1自动泊车概述

自动泊车系统在大众市场上已经有一段时间了，从平行车位开始，然后在最近几年发展到包括垂直停车，停车系统已经超越了仅控制转向的驾驶员辅助系统，实现了横向和纵向控制的部分自动化。泊车辅助系统的挑战是可靠和准确地检测停车位，以允许以最小的独立移动量进行停车操纵。自动泊车系统的目的是为驾驶员提供稳健、安全、舒适和最重要的有用功能，从而节省时间、准确和无碰撞泊车。目前市场上的系统仅依赖距离传感器数据，通常是超声波，用于自动泊车期间的空位检测、重新测量和碰撞避免。虽然这类系统已被证明在该领域非常成功，并在市场中低端发布，继续渗透市场，但它们具有一些固有的局限性，如果没有其他传感器技术的帮助，这些局限性是无法解决的。下面描述的用例集中于基于摄像头的解决方案与超声波传感器融合的好处，特别是尝试解决当前系统的一些限制，将自动泊车技术推向下一步。

在自动泊车开始之前，泊车系统必须首先搜索、识别并准确定位车辆周围的有效泊车位。当前的系统通常依赖驾驶员来启动搜索模式，停车位可以有以下用例中描述的不同形式。在定位车位之后，它们被呈现给驾驶员，以便允许选择所需的停车位以及汽车在最终停车位置所面对的方向。在驾驶员选择了停车位后，车辆在通常低于10公里/小时的有限速度范围内行驶时，自动穿过计算出的轨迹到达所需的终点位置。为了将此功能保持在自动化级别2，以避免跳转到条件自动化的法律影响，在条件自动化中，系统将监控驾驶环境，要求驾驶员通过使用车辆中的无人值守开关来显示其注意力。

部分自动化系统还可以允许驾驶员在识别停车位后，通过遥控钥匙或智能手机退出车辆并远程启动停车操作。在这种情况下，驾驶员应始终负责监控车辆周围的环境，并通过遥控钥匙或智能手机上的开关控制停车操作。遥控停车适用于停车位已被定位和测量的场景，或在受控环境中（如车库停车），其中车辆可以安全地在有限的距离和转向角度下探索前方环境。在停车操纵期间，系统继续重新测量预期停车位和自车车辆本身的位置。由于时隙测量不准确性和自我里程测量误差，需要在泊车过程中继续重新测量定位，以提高终点位置的准确性，并避免与静态或动态障碍物（如行人）发生碰撞。停车轨迹的计算方式应确保选择最适合停车情况的停车轨迹，即轨迹选择为从当前位置在停车位中间完成，不会发生任何碰撞和有限的操纵/方向变化（即驾驶倒车，反之亦然）。自动泊车系统功能的增强不仅是将车停在车位中，还可以将车泊出。

3.2 基于摄像头泊车的好处

当前的系统依靠距离传感器信息，通常是超声波传感器来识别和定位停车位，自动泊车的距离传感器存在许多固有问题，这些问题可以通过使用摄像机数据部分或完全解决。在这种情况下，摄像机数据最好是来自四个环绕视图鱼眼摄像头位于前部和后部以及两个后视镜中，以帮助停车位的搜索、泊车自动化以及所有泊车用例的可视化。

在其他传感器已经对停车位定位之后，单个后视鱼眼摄像头在有限数量的倒车停车用例中也是有益的。较窄视野的前置摄像头对停车位搜索几乎没有好处，但与后视类似，可以帮助实现前方泊车场景的自动化。

用于车位检测的距离传感器的最大限制是它们需要场景中的其他障碍物来识别停车位的边界。摄像机可用于利用道路上的标线检测停车位，同时利用线端类型了解预期的停车位使用情况。使用激光雷达技术可以检测停车位标记，然而，传感器成本和有限的视野是最大的缺点。

图6：基于停车位而非其他车辆的精确泊车场景

图6说明了使用摄像机融合系统，车辆停放更准确。仅基于超声波/雷达，泊车系统将尝试与其他停放的车辆对齐，而摄像头/融合允许靠着停车位的位置进行泊车。而摄像机的探测范围(∼10米）的点云数据小于雷达或激光雷达(∼100米）系统中，摄像机确实提供了比超声波传感器更大的范围(∼4m），同时也具有重叠的视场。超声波能够提供精确的距离数据，而摄像机更适合提供高角度分辨率，这些特性使摄像机和超声波的传感能力相辅相成。鱼眼相机的大垂直视场(∼140◦) 能够对近距离（<1m）内车辆高度以上的障碍物进行目标检测和点云生成，这对于自动泊车的情况是有益的，例如进入带有卷帘门的车库，其中车门没有充分打开以允许车辆进入，大多数距离传感器具有非常有限的垂直视场，因此无法覆盖该场景用，因此无法覆盖该场景用例。

由于相机具有显著的测量分辨率优势，它们能够为主动传感器可能无法检测到的某些对象类型生成点云数据，例如杆或链式围栏，超声波等传感器的这些“盲点”会对自动停车功能的鲁棒性和可靠性产生很大影响。环视摄像头可以生成车辆周围的精确地面拓扑，以帮助定位路沿、停车场和停车锁，以及了解自由空间的表面变化，摄像机可用于通过机器人技术中流行的视觉同步定位和建图（SLAM）技术提供可靠的车辆里程计信息。这种视觉里程计可以克服基于机械的里程表传感器固有的许多精度问题，并提供所需的分辨率，以在初始泊车位选择后最大限度地减少停车调整次数。

3.3 停车场景分类

自动波折有多种用途，但原则上可以分为四种主要停车用例：

1，垂直泊车（向前和向后）：当车辆通过时，系统通过检测近场中的物体位置和线条标记，并测量泊车位的大小和方向，以了解是否可以向用户提供泊车位，从而检测车辆横向的泊车位。如果用户选择用于停车，则系统会在相对于其他物体创建的停车位边界或标线定向车辆的同时，找到到达停车位目标位置的安全行驶轨迹。图8（b）描述了通过三个步骤完成的向后停车操纵的示例，（c）描述了向前泊车操纵。计算机视觉方法支持通过分类和SFM技术检测障碍物。该数据增强了与传统的基于超声波的系统融合的系统检测率和范围（图7（a）），从而增加了用户提供的停车位的真阳性率和假阳性率，同时也改善了停车位方向和测量，从而减少了泊车调整。计算机视觉还可以根据停车位标记来停车，从而提供更准确的停车结果（图7（b）），这在基于超声波的传统停车系统中是不可行的。

图7：强调了将计算机视觉与传统的基于超声波的停车系统融合的好处。（a）提高检测性能和范围，（b）用超声波检测不可泊车的环境（仅车道标记）

2，平行停车：平行停车（图8（a））与垂直停车一样，是一种定义明确的停车情况。然而，策略和情况有很大不同。通常，进入停车位只需一次调整即可完成，进一步的调整可以更准确地与停车位对齐。此外，停车公差通常较低，因为希望靠近周围车辆和停车位内的路缘石停车。与摄像头系统的融合可以降低停车操作的容差，并实现更可靠的路缘检测（使用超声波和雷达可以检测路缘，但通常不可靠）。

图8：停车场景分类-（a）平行向后停车，（b）垂直向后停车，（c）垂直向前停车，（d）模糊停车和（e）鱼骨式停车，带路标。

3.鱼骨停车：图8（e）显示了鱼骨停车的一个例子，其中当前基于超声波的停车系统受到限制，因为检测密度太低，无法识别停车位的方向。在这种情况下，使用相机系统可以增加观察停车位内的范围，以从物体或线标记确定停车位的方向，当前基于超声波的系统无法涵盖此用例。

4，模糊停车：最后一个广泛的用例类别是模糊停车位情况，即停车位没有很好地定义，除非存在其他车辆和物体（图8d））。由于增加了检测范围和车辆周围更完整的传感器覆盖范围（超声波通常不覆盖车辆侧面），使用摄像头能够提前规划泊车动作，因此在有些不明确的使用情况下能够实现更恰当的调整。此外，与超声波/雷达泊车系统相比，在停车场中使用摄像头系统能够实现或提高其他功能的可靠性，例如：

1.紧急制动/舒适制动：当然，在任何程度的自动驾驶条件下，车辆都需要对易受伤害的道路使用者的存在做出反应。有时，环境可能会快速变化（例如，行人快速进入自动泊车的区域），因此，车辆必须快速且安全地做出响应。通过对现有停车系统的补充，由于摄像机融合提供的更多的冗余信息，低速自动紧急制动或舒适制动变得更加稳健。

2.物体距离信息的叠加：将视觉系统数据与传统停车系统相结合的一个非常常见的用途是在视频输出流中叠加物体距离信息，例如在环绕视图系统中。这有助于驾驶员在手动调整车辆时正确估计360°视频输出流，以便在停车位内进行更精确的导航。这对于有路沿石的平行停车位尤其有用，因为路沿石对驾驶员不可见。

视觉应用

基于视觉的ADAS应用程序在2000年代初随着车道偏离警告（LDW）等系统的发布首次开始大规模生产。从那时起，基于视觉的ADAS领域迅速发展。这得益于处理和成像硬件的巨大改进，以及汽车行业增加更多ADAS功能以增强安全性和提高市场品牌知名度的驱动力。随着摄像机被迅速接受为提高驾驶员能见度的标准设备（环视系统），这些传感器被并行用于ADAS应用是合乎逻辑的。

在本节中，我们将讨论四个重要ADAS功能的使用及其在自动停车系统中的相关性。重点是在当前ADAS系统上可行的算法，我们需要考虑检测、定位以及在某些情况下对1）不移动障碍物的分类，例如，停放的车辆，2）停车线和其他地面标记，3）行人和一般移动障碍物，以及4）自由空间，以支持从停车地图中移除跟踪障碍物。以下章节中讨论的算法基于两年前在嵌入式系统上部署的可行性。

4.1.三维点云

深度估计是指旨在获得传感器视场内环境空间结构的表示的一组算法。在自动泊车的背景下，它是计算机视觉用于构建地图的主要方案，这对于所有泊车用例都很重要：它能够更好地估计现有超声波停车系统上的停车位深度，从而更好地规划前后垂直和鱼骨式停车场的轨迹；它提高了路沿检测的可靠性，改善了平行停车时的操纵；此外，它还提供了对障碍物的检测结果，这在融合中显著减少了自动紧急制动中的误报数量。深度估计是许多主动传感器系统的主要焦点，如TOF（飞行时间）相机、激光雷达和雷达，这对于相机等被动传感器来说仍然是一个复杂的主题。相机的深度感知技术有两种主要类型：即立体相机和单目。立体相机相对于单目系统的主要优点是提高了感知深度的能力。它通过解决每个像素的对应问题来工作，允许将像素位置从左相机图像映射到右相机图像。显示像素之间这些距离的地图称为视差图，这些距离与对应世界点距相机的物理距离成比例。使用已知的相机校准和基线，可以对两个相机之间形成像素对的光线进行投影和三角测量，以求解每个像素在世界坐标系下的3D位置。图9显示了稀疏三维重建的示例。

单目系统也能够感知深度，但需要相机的运动来创建场景重建的基线，这种场景重建方法被称为运动恢复结构（SFM），使用稀疏或稠密技术从一帧到下一帧跟踪或匹配图像中的像素。相机在处理帧之间的已知运动以及相机校准用于投影和三角测量点对应的世界位置，捆集调整是一种常用的方法，用于根据最优准则同时细化场景中估计的3D位置和相机的相对运动，涉及所有点的对应图像投影。

4.2.停车位标记与识别

当然，对任何自动泊车系统来说，泊车位的检测都是至关重要的，系统必须在完成操控之前知道它将停在哪里，为了能够在没有限定停车位的障碍物的情况下检测停车位，并且为了能够更准确地停车位，检测限定停车位置的道路标记是至关重要的。考虑一下：在一个空停车场，自动泊车系统如何才能选择一个有效的停车位？这适用于所有泊车操作（垂直、平行和鱼骨形），这其中是需要根据标记的停车位进行操作。可以使用激光雷达等技术完成停车位标记识别，激光雷达对道路标记具有光谱响应。然而，激光雷达系统通常价格昂贵，探测区域有限，与摄像机（>140◦FOV）。在视觉中，车道标记检测可以使用图像俯视校正、边缘提取和霍夫空间分析来检测标记和标记对。

图10给出了一个类似方法的结果示例

使用190◦水平视野停车摄像机。同样的作者还提出了一种基于手动确定的种子点输入的不同方法，随后应用结构分析技术来提取停车位。或者，论文[18]中提出了一种基于HOG（定向梯度直方图）和LBP（局部二进制模式）特征的预训练模型方法，并将线性SVM（支持向量机）应用于构建分类模型。无论采取何种具体方法，显而易见的是，标记车位的检测对于一个完整的自动停车系统至关重要，而实现这一点的唯一合理有效的技术是具有广阔视野的摄像头。

4.3.车辆和行人检测/跟踪

车辆检测和跟踪通常在前摄像头检测的背景下进行，用于自动紧急制动或交通监控应用。然而，泊车过程通常在其他车辆（无论是停车还是移动）在场的情况下进行，因此，车辆的检测和跟踪对于此类操纵的自动化非常重要。泊车中更重要的可能是系统能够可靠地检测和分类行人，以便车辆能够采取适当的行动，例如在存在潜在风险的行人时自动紧急制动（图11）。

图11：使用摄像头对行人进行分类和跟踪

通常，车辆检测问题和行人检测问题都是使用某种类型的分类来解决的。与视觉系统相比，没有其他传感器能够如此容易和可靠地根据对象类型对检测进行分类。对象分类通常属于机器学习算法的监督分类组。这是基于人类可以在代表特定对象类别的多个图像中选择样本缩略图的知识。使用特征提取方法，如定向梯度直方图（HOG）、LBP和应用于人类分类样本图像的小波，使用机器学习建立预测模型，以对对象进行分类。许多基于视觉的ADAS功能使用机器学习方法进行分类。如前所述，分类广泛用于行人和车辆检测，但也用于人脸检测和交通标志识别（TSR）等领域。最终算法的质量高度依赖于用于学习分类器的样本数据的量和质量，以及分类技术的总体质量和特征选择方法对于目标应用的适当性。典型的分类器包括SVM、随机森林和卷积神经网络（CNN）。最近，通过自动学习特征的深度学习方法，这一趋势发生了变化。

4.4.可行驶空间

可行驶空间是大多数环境感应地图使用的一个特征，可行驶空间是传感器视场内车辆周围未被物体占据的区域，通常被归类为占用网格图问题，通常通过将地面与其他物体分割来检测，在占用网格图方法中，自由空间信息被集成并随时间存储。在基于矢量的地图表示的情况下，每个对象的存在概率基于自由空间测量值进行更新。可行驶空间用于清除环境感应地图中未被主动测量或更新的动态和静态障碍。这意味着一个好的自由空间模型可以很快地消除先前位置的动态障碍物，而不会消除有效的静态信息。自由空间还应清除自上次有效测量以来移动的先前检测到的静态对象，以及由于里程计更新错误和误报而在地图中存在位置错误的检测。

图12：（a）显示了使用基于图像的可行驶区域的分割结果，（b）显示了基于（a）道路分割的径向单元可行驶空间定义

图12显示了一个基于摄像机自由空间的图像分割示例，此外，自由空间支持无碰撞的轨迹搜索和规划，特别是在累积的自由空间栅格地图中。与其他传感器类型不同，视觉系统可以提供不同的、独立的估计车辆自由空间的方法。例如，确定基于相机的自由空间的另一种方法是利用3D点云及其相应的障碍物信息。然而，它也重建了车辆周围道路表面的特征，重建的与地面相关的特征可用于提供有价值的自由空间信息。如果存在与地面相关的重构特征，则合理的假设是该点和传感器（摄像机）之间的区域没有被物体遮挡，并且可以用于定义主车辆周围的自由空间区域。由于这些方法是独立的和互补的，因此融合这些技术（与自身以及由其他传感器（如超声波）提供的自由空间）也可能是有益的，以提高自由空间测量的准确性和鲁棒性。

4.5.其他视觉功能

计算机视觉技术在自动泊车车场景中还可以支持其他几个领域，视觉里程计是一项与深度估计密切相关的任务，通过视觉SLAM/捆集调整技术，尽管还有其他视觉里程计方法。虽然车辆里程计可在车辆网络（CAN/FlexRay）上使用，但由于网络上的延迟、信号限制和不准确（例如，依赖加速计）以及有限的自由度（通常仅限于速度和航向），仅依赖这些信号是不准确的。在自动泊车中，里程计的质量对用户的舒适度和泊车精度至关重要-随着里程计的改进，可以在更少的调整中完成泊车，并且最终位置更接近目标位置。交叉口交通警报算法旨在检测在交叉口的某些关键情况下可能对主车辆造成威胁的交通，如T形交叉口（尤其是在能见度有限的情况下）。

图13：停车位出口的交叉交通情况示例，（b）显示了交叉交通检测算法的屏幕截图

图13的第二张图片显示了基于光流和主里程计补偿的交叉口车辆检测算法的示例。除了前面讨论的停车位标记的检测之外，还必须能够检测其他道路标记，如箭头和禁用停车标记以及道路标志，这允许自动停车车辆遵守停车区中规定的规则。

自动泊车系统

自动泊车系统注意事项如图14所示，有许多因素影响基于视觉或部分视觉（融合）的自动停车系统的规格。由于大多数选择对整个系统都有影响，因此系统的很少部分可以单独考虑。一个简单的例子是相机像素分辨率的选择，它可以影响系统通过硬件和软件实现的潜在用例；相机分辨率影响ISP选择、SerDes选择、内存带宽要求、内存要求、计算机视觉的计算要求、系统的精度和范围性能、低光性能和显示要求。因此，需要理解和定义硬件、用例和计算机视觉算法方面的一些限制。

图14：使用摄像头的全自动泊车系统的应用程序堆栈。

从硬件角度来看，主要变量是相机成像器和ECU处理SOC的选择，同时考虑到热、功率和成本在公差范围内。用于环绕视图应用的典型汽车成像仪正从1MP分辨率向2-4MP分辨率转变。提高分辨率的挑战在于这样做，同时保持或优选地提高低光敏度。这对于基于摄像头的自动停车系统的可用性和可用性至关重要。额外的像素分辨率提高了系统的精度和范围，允许增加停车使用情况、更稳健的停车性能和更高的速度可用性。一旦图像形成，关键是以尽可能高的帧速率和高的分辨率并行处理尽可能多的计算机视觉功能。这就是SOC选择的关键所在。减少系统负载总是需要权衡的，包括部署智能状态机以确保仅运行关键的计算机视觉算法，缩小和跳过处理过的图像以减少负载。随着传统上在硬件矢量处理引擎或DSP上执行的像素级处理（通常占任何计算机视觉算法负载的60-70%）被特定的计算机视觉硬件加速器所取代，这些权衡变得不那么严格。这些用于诸如密集光流、立体视差和卷积等处理的计算机视觉加速器能够以牺牲灵活性的代价以更低的功耗实现更高的像素处理吞吐量。系统需要覆盖的用例在系统规范中也起着重要作用。要涵盖的自动停车用例依次定义了检测能力、准确性、覆盖范围、操作范围、操作速度和系统可用性等方面的要求。这会影响传感器和SOC的选择，但最重要的是，它定义了计算机视觉算法所需的性能，以便能够实现功能。例如，线间自动垂直停车需要许多计算机视觉算法并行工作，并具有所需的精度和鲁棒性，以实现可靠和有用的功能。首先，线标记检测算法需要执行高达自动停车位搜索实用的速度和检测范围。同时，需要一种算法，如运动结构，以确保槽中没有物体（停车锁、锥体、垃圾箱等），同时测量可能为路缘石形式的槽的末端位置。行人检测也是一个很好的补充，可以减少但不能消除停车操纵期间用户的监督负担。这些计算机视觉功能需要在线校准算法和污染检测功能的支持，以便在它们不可用时进行操作和理解，从而通知系统和用户。摄像机信息通常随着时间的推移与其他距离传感器信息（例如超声波或雷达数据）融合，以提高系统的鲁棒性、准确性和可用性。然而，有些检测需要只有摄像机才能实现，例如分类。随着环视摄像头逐渐成为一种标准传感器，摄像头能够实现的功能越多，系统成本就越低，因此，摄像头能够完成的功能就越多，所需的支持传感器就越少。

图15：Park4U家庭使用案例示例，其中基于视觉的系统使用地标将汽车定位到已存储的轨迹，以自主导航到家庭停车位

计算机视觉最近在深度学习方面取得了巨大进展，特别是卷积神经网络（CNN），CNN使物体检测的准确性大大提高，从而提高了自动驾驶的感知能力。它还通过语义分割实现了密集的像素分类，这在之前是不可行的。此外，CNN在几何视觉算法（如光流、运动恢复结构和重定位）方面取得最新成果的趋势很强。CNN的进步也导致硬件制造商加入了定制的硬件IP，以提供每秒超过10 Tera操作（TOPS）的高吞吐量。此外，下一代硬件将具有稠密的光流和立体视觉硬件加速器，以实现对运动和静止物体的通用检测。从用例的角度来看，停车系统的下一步是使其真正自主，这将允许驾驶员离开汽车，在没有任何驾驶员输入的情况下定位并停放在未映射的环境中。除此之外，车辆应能够离开停车位并安全返回驾驶员身边。摄像头可以在未来的自动停车系统中发挥非常重要的作用，提供有关车辆周围环境的重要信息。这包括物体和自由空间数据、停车位标记检测、行人检测等信息，以便与其他传感器技术融合。

如本文所述，当前的自动停车系统在用户识别和选择停车位后控制车辆。在时隙搜索期间，系统的状态基本上是被动的。未来的趋势和挑战是插槽搜索本身的自动化，以实现完整的车辆停车自动化，包括搜索、选择和停车，所有这些都以稳健、可重复和安全的方式进行。这些自动泊车场景可分为以下几类：

1）已知区域的自动泊车和2）未知区域的自动停车。

已知区域的自动泊车通常涉及驾驶员“训练”自动泊车系统和停车轨迹（见图15）。在此训练期间，传感器定位场景中的地标，并记录驾驶员相对于这些地标驱动的期望轨迹。当自动停车系统返回时，自动停车系统可以识别场景，并使用训练的信息将车辆自动定位到允许自动停车的存储轨迹。法雷奥在法兰克福车展上以法雷奥代客泊车4U的名字推出了未知区域的自动泊车。实现向新自动化水平跃升的挑战是在自我车辆定位（SLAM）方面扩展基于视觉的自动停车系统，并允许准确识别存储的家庭区域。为了实现自动泊车系统的最高自动化水平，显然需要传感器技术（摄像机、超声波、雷达或激光雷达）的组合，以达到自我定位、检测和预测环境的最大精度和可靠性。

总结

自动驾驶是一个快速发展的技术领域，许多高端汽车已经开始配备自动泊车功能。这导致了传感器的改进和计算能力的大幅提高，从而可以产生更稳健和准确的系统。尽管存在责任方面的挑战，但欧洲国家公路交通管理局（EuroNCAP）和国家公路交通安全管理局（NHTSA）等政府监管机构正在引入渐进式立法来强制安全系统，并开始立法允许自动驾驶车辆在公共道路网络上行驶。相机传感器将继续发挥重要作用，因为它的成本低，并且相对于其他传感器而言，它捕捉的语义丰富。在本文中，我们重点讨论了摄像头传感器的好处以及它如何实现停车用例。我们已经讨论了自动停车系统的系统实现，该系统具有四个鱼眼摄像头车辆周围的视野。我们详细介绍了系统的各个方面，包括嵌入式系统组件、需要处理的停车用例以及解决这些用例的视觉算法。作为计算机视觉方面的重点，我们省略了传感器融合、轨迹控制和运动规划的细节。

更多详细内容请加入知识星球查看原文。

资源

自动驾驶及定位相关分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

自动驾驶中基于光流的运动物体检测

基于语义分割的相机外参标定

综述：用于自动驾驶的全景鱼眼相机的理论模型和感知介绍

高速场景下自动驾驶车辆定位方法综述

Patchwork++：基于点云的快速、稳健的地面分割方法

PaGO-LOAM:基于地面优化的激光雷达里程计

多模态路沿检测与滤波方法

多个激光雷达同时校准、定位和建图的框架