具有已知内在和外在矩阵的立体视觉 3d 点计算

Posted

技术标签:

【中文标题】具有已知内在和外在矩阵的立体视觉 3d 点计算【英文标题】:stereo vision 3d point calculation with known intrinsic and extrinsic matrix 【发布时间】:2019-02-19 19:12:24 【问题描述】:

我已经用两个相机的固有相机矩阵成功计算了旋转、平移。 我还从左右摄像头获得了校正后的图像。现在,我想知道如何计算一个点的 3D 坐标,只是图像中的一个点。在这里,请看绿点。我看了一下方程,但它需要我不知道如何计算的基线。您能告诉我使用给定信息(R、T 和内在矩阵)计算绿点 3d 坐标的过程吗?

仅供参考 1. 我还有一个基本矩阵和基本矩阵,以备不时之需。 2. 原图尺寸为 960 x 720,校正后为 925 x 669 3. 左图的绿点:(562, 185),右图的绿点:(542, 185)

【问题讨论】:

【参考方案1】:

“基线”一词通常仅表示翻译。因为您已经有了旋转、平移和内在矩阵(让我们不要使用它们 R, TK)。您可以进行三角测量并且不需要基本矩阵或基本矩阵(它们可用于提取R, T 等,但您已经拥有它们)。您也不需要对图像进行校正,因为它不会对三角测量过程产生太大影响。有许多三角测量方法,每种方法都有其优缺点,以及许多实现它们的库。因此,我在这里所能做的就是为您提供问题和潜在解决方案的概述,以及指向资源的指针,您可以按原样使用这些资源,也可以作为编写自己代码的灵感来源。

形式化和解决方案大纲。让我们在这里形式化我们所追求的。您有一个 3d 点 X,左右图像中分别有两个观察值 x_1x_2。如果你对它们进行反向投影,你会得到两条光线:

ray_1=K^1x_1
rat_2=R*K^-1x_2+T  //I'm assuming that [R|T] is the pose of the second camera expressed in the referential of the first camera 

理想情况下,您希望这两条光线在X 点相遇。由于在实践中我们总是有一些噪声(离散化噪声、舍入误差等)两条射线不会在X 相遇,所以最好的答案是Q 这样的点

Q=argmin_X d(X,ray_1)^2+d(X,ray_2)^2

其中d(.) 表示线和点之间的欧几里得距离。您可以将此问题作为常规最小二乘问题来解决,或者您可以只采用几何方法(称为中点)来考虑垂直于ray_1 和@987654340 的线段l @,并将其中间作为您的解决方案。另一种快速而肮脏的方法是使用 DLT。基本上,您将约束(i.e. X 应尽可能接近两条射线)重写为线性系统 AX=0 并使用 SVD 解决它。

通常,几何(中点)方法不太精确。基于 DLT 的算法虽然在数值上不是最稳定的,但通常会产生可接受的结果。

深入形式化的资源

Hartley-Zisserman's 当然是书!第 12 章。第 312 页解释了一种简单的基于 DLT 的方法,它是在 opencv 中使用的(在校准和 sfm 模块中)。它很容易实现,任何时间都不应该超过 10 分钟语言。

Szeliski'st book. 在 SFM 的章节中对三角剖分进行了有趣的讨论,但不如 Hartley-Zisserman 的直接或深入。

代码。您可以使用 opencv 中的三角测量方法,可以来自 calib3d 模块,也可以来自 contribs/sfm 模块。两者都使用 DLT,但来自 SFM 模块的代码更容易理解(calib3d 代码有很多老式的 C 代码,阅读起来不太愉快)。还有另一个名为 openGV 的库,其中包含一些有趣的三角测量方法。

cv::triangulatePoints

cv::sfm::triangulatePoints

OpenGV

openGV git repo 似乎不太活跃,而且我不是图书馆设计的忠实粉丝,但如果我没记错的话(请随意告诉我)它提供了 DLT 以外的其他方法三角测量。

当然,这些都是用 C++ 编写的,但如果你使用其他语言,找到包装器或类似的库不会很困难(使用 python 你仍然有 opencv 包装器,而 MATLAB 有一个捆绑模块等)。

【讨论】:

以上是关于具有已知内在和外在矩阵的立体视觉 3d 点计算的主要内容,如果未能解决你的问题,请参考以下文章

如何使用立体对合成新的相机视图?

matlab stereo_gui立体标定

ECCV2020优秀论文汇总|涉及点云处理3D检测识别三维重建立体视觉姿态估计深度估计SFM等方向

立体视觉入门指南:关键矩阵(本质矩阵,基础矩阵,单应矩阵)

立体视觉入门指南:关键矩阵(本质矩阵,基础矩阵,单应矩阵)

IDA-3D 解读基于实例深度感知的自动驾驶立体视觉三维目标检测