3D相机技术调研(飞行时间+双目+结构光)

Posted 2021-09-05 pan_jinquan

1. 深度估计3D相机方案

目前市面上常有的 3D 相机方案就就是这3种：

1. 飞行时间(Time of flight,TOF)，代表公司微软Kinect2，PMD，SoftKinect， 联想 Phab，在手机中一般用于3D建模、AR应用，AR测距(华为TOF镜头)

2. 双目视觉(Stereo Camera)，代表公司 Leap Motion， ZED， 大疆;

3. 结构光(Structured-light)，代表公司有奥比中光，苹果iPhone X(Prime Sense)，微软 Kinect1，英特尔RealSense, Mantis Vision 等，在手机（iPhone，华为）中3D结构光主要用于人脸解锁、支付、美颜等场景。

相机类型	TOF(飞行时间)	RGB双目(Stereo Camera)	结构光(Structured light)
测距方式	主动式	被动式	主动式
工作原理	根据光的飞行时间(相位差异)直接测量距离	基于视差原理，RGB图像特征点匹配，三角测量法	主动投射已知编码图案，提升特征匹配的效果，三角测量法
分辨率	一般低于640×480， Kinect2是512 x 424	可达2K高分辨率	可达1080×720
帧率	较高，可达上百帧	一般在30fps	一般在30fps
测量精度	测量精度最高可达厘米 Kinect2深度误差在1.5cm左右	近距离可达毫米精度,2m内误差千分之五(5mm)	近距离能够达到高精度：0.01mm-1mm
测量范围	可以测量较远距离，100m以内	受基线限制，一般只能测量较近的距离，距离越远误差越大，一般在2m（基线10mm）以内	测量距离一般为10m以内
抗干扰	受环境影响较小	黑暗或者纹理特征不明显等环境干扰	室外强光下受干扰较大
功耗	功耗较大，需要全面照射	较大，纯算法功耗	一般，需要局部区域投射图案
优点	检测距离远。在激光能量够的情况下可达几十米。 受环境光干扰比较小。	硬件要求低，成本也低。普通 CMOS 相机即可。但比较消耗计算资源 室内外都适用。只要光线合适，不要太昏暗。	方案成熟，相机基线可以做的比较小，方便小型化。 资源消耗较低，单帧 IR 图就可计算出深度图，功耗低。 主动光源，夜晚也可使用。 在一定范围内精度高，分辨率高，分辨率可达 1280x1024,帧率可达 60FPS。
缺点	对设备要求高，特别是时间测量模块。 资源消耗大。 该方案在检测相位偏移时需要多次采样积分，运算量大。 边缘精度低。 限于资源消耗和滤波，帧率和分辨率都没办法做到较高。目前消费类最大也就 VGA。	对环境光照非常敏感。光线变化导致图像偏差大，进而会导致匹配失败或精度低。 不适用单调缺乏纹理的场景。双目视觉根据视觉特征进行图像匹配，没有特征会导致匹配失败。 计算复杂度高。该方法是纯视觉的方法，对算法要求高，计算量较大。 基线限制了测量范围。测量范围和基线（两个摄像头间距）成正比，导致无法小型化。	容易受环境光干扰，室外体验差。 随检测距离增加，精度会变差。
应用场景	无人驾驶车，机器人，Kinect2，在手机中，TOF由于测量距离长，一般用于3D建模、AR应用，AR测距(华为TOF镜头)	基于手机的双目应用较少，商用场景较少	机器人，Kinect1，手机（iPhone，华为）中3D结构光主要用于人脸解锁、支付、美颜等场景

• 从上面三种主流的 3D 相机成像方案来看，各有优劣，但是从实际应用场景来看，在非无人驾驶领域，结构光，特别是散斑结构光的用途是最广泛。
• 因为从精度，分辨率，还有应用场景的范围来看双目和 TOF 都没有办法做到最大的平衡。
• 而且对于结构光容易受环境光干扰，特别是太阳光影响问题，鉴于此类相机都有红外激光发射模块，非常容易改造为主动双目来弥补该问题。
• 当然这三种方案在发展过程中也有一些互相融合趋势，如主动双目+结构光，取长补短，使 3D 相机能适应更多的场景。
• 也有一些同时使用，如手机前置基本确认会采用结构光来做 FaceId（人脸认证），但是后置用来做 AR 应用，结构光和 TOF 都有机会。
• 虽然项目具体使用哪种方案，要结合当前硬件资源，对性能要求等来确定，但从最广泛的使用角度来看，散斑结构光无疑是目前最佳的方案。

---

2. 深度估计技术说明

(1) 双目相机（双目立体视觉法）

包括一套经过校准的相机（至少两个），已经为其估算了一个通用的3D参考系统。深度图是基于立体三角测量的。即使有多个研究让我们在这方面取得了相当大的进步，但是多目相机估计的深度仍然是不可靠的，特别是在强度/色彩均匀的场景中；

RGB双目相机因为非常依赖纯图像特征匹配，所以在光照较暗或者过度曝光的情况下效果都非常差，另外如果被测场景本身缺乏纹理，也很难进行特征提取和匹配。

产品：

1. http://www.luster3ds.com/

(2) 结构光3D

扫描仪将红外结构光图案投射到现场。当将图案投影到三维形状的表面上时，观察到的图案几何扭曲[79]。通过比较预期的投影模式（如果场景中没有物体）和变形的观察模式，可以恢复表面形状的精确几何重建。可以将各种图案投射到场景上，例如光条纹或任意的条纹。深度估计可能是不可靠的，特别是在反射或透明表面的情况下。Kinect传感器（版本1）属于这种类型的相机。

• 苹果公司：SMI 眼球追踪技术； PRIMESense 3D结构光技术包括器件和实现方案；FACESHIFT 面部捕捉技术，先行垄断了3D人脸核心技术。
• OPPO FINDX：3D结构光采用奥比中光，体验和算法采用 FACE++ 旷视。成为安卓阵营首个3D结构光技术接近苹果XS的终端。
• 华为 MATE20 PRO：自主研发，误识别率不高于百万分之一,军用级别安全可靠，更配合多维度用户使用场景，3D建模等。

相关参考：

• https://blog.csdn.net/electech6/article/details/78707839
• 华为，苹果，OPPO：https://zhuanlan.zhihu.com/p/53801731
• 奥比中光：http://www.orbbec.com.cn/

• 红外投影结构光人脸三维重建：https://blog.csdn.net/clipp_Huang/article/details/102676824

(3) 飞行时间（ToF）

顾名思义是测量光飞行时间来取得距离，具体而言就是通过给目标连续发射激光脉冲，然后用传感器接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标物距离。

因为光速激光，通过直接测光飞行时间实际不可行，一般通过检测通过一定手段调制后的光波的相位偏移来实现。

TOF 法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。

脉冲调制需要非常高精度时钟进行测量，且需要发出高频高强度激光，目前大多采用检测相位偏移办法来实现 TOF 功能。

 

基本原理：

1. https://blog.csdn.net/qq_37764129/article/details/81001558

2. https://blog.csdn.net/electech6/article/details/78349107

3. TOF、RGB双目、结构光优劣分析: https://blog.csdn.net/qq_37764129/article/details/81011221

相关产品：

1. SHARP2Y0A02 红外测距对管测试
2. Arduino红外传感器-Sharp GP2Y0A02YK 红外测距传感器 (20~150cm)  
3. Acconeer-红外测距传感器 ： 7米量程，精度1毫米，汽车中使用较多