数据标注案例分享：车辆前置摄像头数据采集标注项目丨曼孚科技

Posted 2021-02-28

在自动驾驶技术中，感知是最基础的部分，没有对车辆周围三维环境的定量感知，就犹如人没有了眼睛，无人驾驶的决策系统就无法正常工作。

与其他应用场景相比，自动驾驶的应用场景相对复杂，尤其面对复杂多变的路况环境，感知技术的突破需要依赖相应的数据采集标注项目的支持。

一.项目背景

车辆前置道路信息采集主要解决两个个关键需求：

1. 障碍物的距离信息;2. 相对速度向量。

通过对障碍物的连续追踪，根据距离的变化和时间间隔得到相对速度信息，以满足自动驾驶相关业务的需求。

多城市多道路，会带来不同的路况，信号灯种类，人流和车流情况变化，多天气数据会影响图像识别精度。

二.项目方案

☆激光雷达+毫米波雷达+单目摄像头。

通过激光雷达采集点云数据，生成点云连续帧数据。在点云中标注每个障碍物的位置、标签、ID。激光数据可以精确测量障碍物距离本身的距离信息，同时通过前后帧的同ID车辆位置变化，计算出障碍物相对速度向量信息。

通过毫米波雷达，同样可以获得周围环境的点云数据，然后通过对连续帧的标注取得距离和相对速度信息。

三.采集方案

☆采集数据+既有数据收集。

对于激光、毫米雷达波和单目摄像头数据，需要采集新数据。

现有的行车记录仪数据收集，可以收集多城市，多道路，多天气下的数据，按照需求的比例分布。然后根据单目测距的方式进行标注和结果导出。行车记录仪收集的数据可以作为单目摄像头的算法验证。

四.标注规范

☆标注顺序：

从正前方开始找物体——在3D上标注并调框(脑补大小和方向)——在出现的其他方位里标注对应物——选择类型、状态、可见度——顺时针回到正前方。

☆标注对象：车、人、物

-乘用车(设计用来载人的车辆)

-卡车(设计用来拉货的车辆，包括小型皮卡车)

-卡车头

-拖斗(无论有没有被拖车连接都要标注，如：油罐，集装箱)

-巴士(10人以上载客巴士)

-摩托车(有人)

-摩托车(无人)

-自行车(有人)

-自行车(无人)

-自行车架

-集装箱

-其他交通工具(除以上类型车辆、车上有车的情况)

-成年人

-未成年人

-婴儿车

-轮椅

-动物

-交通锥桶

-临时路障

-临时交通标志/路标

-可推拉物体

-杂物和垃圾

-带物体的行人

☆属性：

-3D可见度

0%-25%

26%-50%

51%-75%

76%-100%

☆车辆状态：

1)停放(长时间停放，没有即将运动的趋势)。

2)停止(如等红灯，随时有可能移动的车辆)。

3)运动(正在移动的车辆)。

☆特殊规则：

框体和脑补：

1)紧致贴合扫描完整的边缘，不完整的边缘需要脑补。

2)如果原始点云只扫描到物体的一部分，需要脑补出合理的尺寸。

3)当点阵不完整，框体应贴合离采集车最近的一侧。

4)框体不允许悬空，或是陷入地面。

5)框体不包括车的后视镜、天线。

3D标注范围：

1)可行驶区域 120米(采集车可以开到的区域，人行道)。

2)不可行驶区域 90米(被墙体隔离的停车场等)。

标注原则：

1)任何可能危及采集车行驶安全的物体都要标注。

最小3D点阵：

1)大于等于5个点，并且只要可以确定该物体是我们需要标注的对象。

最小2D框体：

1)20x20 pixels(由于过远导致的，如果脑补超过20x20仍需要标注)。

2)截断(out of image)超过50%仍要标注(只要2D中出现一点点就要标注)。

五.标注对象类型详解

需要标注的对象有21种：

乘用小型车、卡车、卡车头、拖斗、巴士、摩托车、自行车、自行车架、集装箱、其他交通工具、成人行人、未成年行人、婴儿车、轮椅、动物、带物体的行人、杂物或垃圾、交通锥或交通杆、临时路障、临时交通标志/路标、可推拉的物体。

以下选取部分内容简单介绍：

1.乘用小型车

主要给个人使用的机动车。例如：轿车、两厢车、小货车、厢式货车、mini货车、SUV以及吉普车。

1)10座以上叫公交。

2)被设计主要用来拉货物的叫卡车。

2.卡车

主要设计用来拉货的大型机动车。

包括：皮卡、半挂车、卡车、牵引车。在牵引车后的拖斗需要被独立标为“拖斗”。

3.成人行人

注意：框需要包含行人的四肢、动作。例如坐着或站着的成人或小孩。

4.未成年行人

5.交通锥或交通杆

1)所有类型的交通锥标和交通杆。

2)方向朝着采集车，不用太精准。

6.可推拉的物体

物体被设计来让行人推或拉的。例如手推车、手推车、可推式垃圾箱或购物车。通常这些车不是被设计成载人的。

六.硬件平台

☆设备清单：

☆设备配置方案：

☆传感器参数：


七.软件平台

☆软件开发：

☆软件功能：

本系统由4个激光雷达、ECU融合器、同步时钟等设备组成。每个雷达对点云数据进行预处理、分割、特征提取处理后，将信号送入ECU融合器内进行数据融合、目标跟踪、分类等，最终输出目标序列。