信迈3D机器视觉的技术路径和场景适用

Posted 2022-06-07 信迈科技DSP+ARM+FPGA

一、3D相机的典型应用领域:

1）在工业环境中自动驾驶车辆（如叉车）检测障碍和进行“人工”导航

2）机器人控制的传送带抓取作业或零件拾取作业

3）进行有无检测，即使容器/箱子中的对象相比背景根本没有对比度，也可以对其进行检查和计数

4）对电路板上的组件进行位置和有无检查

5）对各种对象进行体积测量等

二、流行的3D技术

3D图像处理常使用的技术包括：

1）立体视觉和结构光

2）激光三角测量法

3）ToF(Time-of-Flight)

三、立体视觉和结构光

立体视觉的工作原理依照人类的一双眼睛。使用两个相机记录一个对象的两个2D图像。并且，从两个不同的位置记录同样的场景，借助三角测量原理，使用深度信息合成一幅三维图像。

立体视觉使用从两个普通的2D面阵相机提供的图像数据，为场景提供深度值。同时，根据相机位置以及应用的几何信息对图像进行调整。在调整后，使用匹配算法搜索右侧和左侧的对应点，创建场景的深度图像。

此方法运行的工作距离取决于基准（相机之间的距离），因此因情况而异。

提高立体系统性能的一种方式是向立体解决方案添加结构光。通过使用光源将明亮的几何图案投射在场景上，可以提高测量结果的准确度，这显著降低因均质表面和低光造成的立体影像缺陷。通过校准投射灯和相机，甚至可以不使用第二台相机。

3.1立体视觉的优点和缺点

+ 可以在较短距离内获得高精度

+ 可以使用2D面阵相机

+ 阳光照射不是问题

+ 高反光（称为难处理表面）的情况下也可以使用

- 不能用于均质表面

- 在低光照条件下不能运行

- 高计算能力导致实时性难以实现

3.2结构光的优点和缺点

+ 可以在较短距离内获得高精度

+ 可以使用2D面阵相机

+ 阳光照射不是问题

+ 高反光（称为难处理表面）的情况下也可以使用

- 高计算负载导致实时性难以实现

- 设置复杂、安装成本高，导致总体系统成本高昂

3.3立体视觉和结构光的典型应用领域

立体视觉可以实现较高精度。难处理表面不会对立体视觉造成较大影响，但始终要求对象存在少量参考标记或随机图案。这意味着这种技术一般不太适合在生产环境中使用。立体视觉通常的应用范围包括：坐标测量技术，工业、服务或机器人系统方面应用的对象和工作区的3D测量，以及危险工作区或人类无法进入的工作区的3D显示。立体系统也非常适合在室外区域的测量系统中使用，如在锯木厂中测量和检查树干。

然而，如果可以接受高处理负载、复杂的安装工作和更高成本，在添加结构光后，立体视觉也适合进行目标测量的工业应用。

四、激光三角测量法

在运用激光三角测量法时，结合使用了2D相机和激光光源。在此过程中，激光将线或点投射在相机前的场景上。

激光线或点出现在相机前的对象上，由2D相机记录。如果使相机跨过目标或在目标旁移动（例如通过传送带），被测量对象到芯片之间的距离会改变，那么激光线或点的观察角度随它们在相机图像中的位置一起变化。这样，通过数学运算，对象和光源之间的距离就可以通过图像中的位置坐标计算得出。

4.1激光三角测量法的优点和缺点

+ 精度极高

+ 照明条件较差时仍可工作

+ 可用于镜面反射或高反光（难处理）表面

- 需要对目标进行激光扫描，导致速度较慢

- 工作距离小

- 高精度要求采用非常昂贵的单个组件

- 设置复杂、安装成本高，导致总体系统成本高昂

- 如果没有安全的预防措施无法保证眼睛安全

4.2激光扫描仪的应用领域

激光三角测量法对于准确性要求极高的应用，常常是一种好的选择。而对于高反光且光照条件不理想的难处理表面，也建议选择激光三角测量法。举例来说，在亚毫米级范围内测量高反光的金属片就是激光三角测量法的典型应用。另一个例子是对玻璃瓶进行分拣，这种情况下对比度极小。

五、Time-of-Flight 方法

TheTime-of-Flight 方法是获取深度数据及测量距离的非常有效的技术。ToF (Time-of-Flight)相机为每个像素提供两种信息：亮度值（描述为灰度值）以及相机和目标的距离（即深度值）。

ToF(Time-of-Flight)方法有两种不同的用法：连续波和脉冲ToF (Time-of-Flight)方法。基于连续波的Time-of-Flight测量法，是一种根据可调节亮度光源的发射光和反射光之间的相位差来进行测量的方法。

使用脉冲ToF(Time-of-Flight)原理的相机，是根据发射光脉冲和反射光脉冲之间的时间延迟来确定距离。

ToF(Time-of-Flight)相机是一个紧凑的系统，没有可移动部件，它由以下组件组成：

1）主动集成光源

2）集成镜头

3）ToF（Time-of-Flight）芯片

光源会发出光脉冲，光击中物体后会反射回相机芯片，集成镜头能够确保反射回来的光可以击中芯片。简单而言，即根据光线从发出到返回芯片所需的时间，可以确定距离，进而计算出每个像素的深度值。借助此过程就可以简单、实时地描绘出散点图/深度图，并同时提供一幅强度与置信图。

5.1 TOF的优点和缺点

+ 一次记录场景，无需扫描

+ 高速度

+ 在多部分图像中提供2D和3D信息

+ 高X/Y分辨率

+ 系统紧凑，无移动组件

+ 在低光条件下工作理想

+ 确保眼睛安全

+ 无结构或对比度要求

+ 只要提供足够强的光源，可以实现长工作距离

+ 总体系统成本低

+ 可实现高度实时性

- 镜面反射及高反光（难处理）表面存在问题

- 对杂散光敏感

5.2 ToF (Time-of-Flight)的典型应用领域

ToF相机适合用于要求工作距离长、高速成像、复杂度低的应用。如果想要相机具备上述几点优势，同时预算经费有限，不要求具备毫米级以下的精度，那么ToF技术就是合适的选择。

物流、码垛和卸垛任务的容积测量以及物流环境中的自动驾驶车辆都适合采用ToF (Time-of-Flight)相机。ToF(Time-of-Flight)相机在医疗领域也获得了令人兴奋的新任务，那就是定位和监测患者。在工业领域中，由于ToF (Time-of-Flight)相机的深度精度相对较低，采用这种相机的系统更适合一般化任务，如较大对象的选择和放置应用。它们还可以用于机器人控制系统或大型对象的测量和位置检测，例如用于汽车制造。

六、3D技术的比较

Source from: MartinGramatke of Basler