关于深度相机的精度问题

Posted 2023-04-30

参考技术A

常用的三种类型的深度相机 [1] ，大致分为以下三种：基于主动投射结构光的深度相机（如 Kinect 1.0 , Intel RealSense, Enshape, Ensenso等）、被动双目相机（如STEROLABS 推出的 ZED 2K Stereo Camera , Point Grey 公司推出的 BumbleBee）以及ToF [2] 相机（如微软的 Kinect 2.0 , MESA 的 SR4000 , Google Project Tango 中使用的PMD Tech 的TOF相机，Intel 的 SoftKinect DepthSense, Basler基于松下的芯片开发的TOF相机以及国内一些初创公司基于TI的方案开发的TOF相机等等）

先给出结论， KinectV2的精度在2mm~4mm左右 ，距离越近精度越高，越远精度稍微差点；kinectV1误差约 2mm~30mm 。

Kinectv2 for Mobile Robot Navigation: Evaluationand Modeling

如上图所示，右侧大三角是KinectV2在纵向（垂直于地面）的精度分布，下侧大三角是KinectV2在水平面（平行于地面）上的精度分布。在绿色区域精度最高，误差 小于2mm ，在黄色区域误差在 2~4mm ，红色区域误差 大于4mm 。所以在设计交互场景时，在黄色区域以内会达到最好的效果（3.5m内）。如果对精度要求很高，如控制机械，最好在绿色区域进行交互。

Kinect v2的rgb视场（FOV [3] ）是84.1 x 53.8，关于FOV的建模和模型可以 参考 。

如图所示，KinectV1随着距离增加，误差指数性增加，在距离达到4m时，kinectV1误差 接近0.2m 。而KinectV2的误差几乎不随距离增加而变化。V2比V1追踪准确度好20%。V2可以在户外进行人体跟踪，最远到4m。V2在近距离有比V1高2倍的精度，在6m有高数十倍的精度。

LeapMotion的精度平均下来是 0.7mm 的精度，也是达不到所谓的0.01mm的。

Analysis of the Accuracy and Robustness of the Leap
Motion Controller

上面的论文对初步版本中的Leap Motion控制器进行研究，分别在静态与动态设置下的精度和准确性，考虑到人手的可达到的平均约为0.4mm，实验用设备使用参考笔，位置精度可达0.2mm，且参考笔对仪器精度测量无可观察到的影响。在基于静态设置的测量下，获得了期望的3D位置与 小于0.2mm 的测量位置之间的与轴无关的偏差。在动态情况下，独立于平面，可以获得 小于2.5mm 的精度（平均1.2毫米）。重复性 平均小于0.17毫米 。在基于姿势的用户界面方面，在实际条件下不可能实现0.01mm的理论精度，而是高精度（总平均精度为 0.7mm ）。

优点：

缺点：

优点：

缺点：

优点：

缺点：

优点：

缺点：

和 Kinect 一代的优缺点类似，

立体相机可以“看到”的最小深度是多少？

【中文标题】立体相机可以“看到”的最小深度是多少？

【英文标题】：What's the minimum depth a stereo camera can "see"?

【发布时间】：2019-05-30 21:14:19

【问题描述】：

我有兴趣找到（完全对齐的）立体相机可以测量的最近深度（具有固定的基线和焦距）。我知道可以根据基线、焦距和视差来计算深度。 深度 =（基线 * 焦距）/视差

这个问题（在我看来）也可以这样表述：找到立体视觉相机的最大可能差异。 当 Z 变为零时，差异变为无穷大。但这不可能是真的，因为（再次，在我看来）不可能在深度 0 处拍摄图像。

有什么建议吗？

提前致谢！

【参考方案1】：

在实际的立体设置中，最小可分辨深度由以下两个因素之一决定：

光学元件，特别是左右图像聚焦良好的最近距离。 摄像机视野的重叠。由于相机的尺寸是有限的，因此基线只能缩小这么多，因此即使使用相机 toed-id（即具有会聚焦轴）也会有一个最小距离，在该最小距离之下，感兴趣对象的某些部分在两个相机中都不可见，或仅在其中一个中。

这些限制适用于任何立体装置。当然，特定装备的绝对限制取决于其自身的设计：一方面，您可以使用一对显微镜进行立体重建；另一方面，一战中用于海军炮兵的立体遥测仪已经可以在 20 公里距离上可靠地测量距离，达到米级分辨率。