OpenCV triangulatePoints 惯用手

Posted 2023-03-27

【中文标题】OpenCV triangulatePoints 惯用手

【英文标题】：OpenCV triangulatePoints handedness

【发布时间】：2015-12-29 15:01:26

【问题描述】：

我有两台摄像机并排固定，平行方向看。

左相机的投影矩阵

右相机的投影矩阵

当我对对应点的两个向量执行triangulatePoints 时，我得到了 3D 空间中的点集合。 3D 空间中的所有点都有一个负 Z 坐标。

所以，要深入了解这个......

我的假设是 OpenCV 使用右手坐标系。

惯用手提醒：

我假设每个相机的初始方向指向正 Z 轴方向。

因此，通过使用我在开始时介绍的投影矩阵，我会假设相机在空间中的位置如下：

当我得到训练点的负 Z 坐标时，这个假设与我观察到的相矛盾。我能想到的唯一解释是 OpenCV 实际上使用了左手坐标系。因此，对于我在开头所述的投影矩阵，这就是相机在空间中的定位方式：

这表明在这种情况下我的左侧摄像头不在左侧。这就是为什么我的分数为负深度。

此外，如果我尝试将 triangulatePoints 与 solvePnP 结合使用，我会遇到问题。

我使用triangulatePoints 的输出作为solvePnP 的输入。我希望在 3D 坐标系的原点附近获得相机坐标。我希望计算出的相机位置与开始时使用的投影矩阵相匹配。但这并没有发生。我得到了一些完全疯狂的结果，超出基线长度 10 倍以上的预期值。

示例

这个例子比上面所说的更完整地表达了这个问题。

points3D

Here是生成这些点的代码。

开始，设置相机A和相机D...

Mat cameraMatrix = (Mat_<double>(3, 3) <<
    716.731, 0, 660.749,
    0, 716.731, 360.754,
    0, 0, 1);
Mat distCoeffs = (Mat_<double>(5, 1) << 0, 0, 0, 0, 0);



Mat rotation_a = Mat::eye(3, 3, CV_64F); // no rotation
Mat translation_a = (Mat_<double>(3, 1) << 0, 0, 0); // no translation
Mat rt_a;
hconcat(rotation_a, translation_a, rt_a);
Mat projectionMatrix_a = cameraMatrix * rt_a; 

Mat rotation_d = (Mat_<double>(3, 1) << 0, CV_PI / 6.0, 0); // 30° rotation about Y axis
Rodrigues(rotation_d, rotation_d); // convert to 3x3 matrix
Mat translation_d = (Mat_<double>(3, 1) << 100, 0, 0);
Mat rt_d;
hconcat(rotation_d, translation_d, rt_d);
Mat projectionMatrix_d = cameraMatrix * rt_d;

投影A和D观察points3D的像素坐标是多少。

Mat points2D_a = projectionMatrix_a * points3D;
Mat points2D_d = projectionMatrix_d * points3D;

我把它们放在向量中：

vector<Point2f> points2Dvector_a, points2Dvector_d;

之后，我再次生成 3D 点。

Mat points3DHomogeneous;
triangulatePoints(projectionMatrix_a, projectionMatrix_d, points2Dvector_a, points2Dvector_d, points3DHomogeneous);
Mat triangulatedPoints3D;
transpose(points3DHomogeneous, triangulatedPoints3D);
convertPointsFromHomogeneous(triangulatedPoints3D, triangulatedPoints3D);

现在，triangulatedPoints3D 是这样开始的：

它们与points3D 相同。

然后是最后一步。

Mat rvec, tvec;
solvePnP(triangulatedPoints3D, points2Dvector_d, cameraMatrix, distCoeffs, rvec, tvec);

生成rvec 和tvec：

我曾希望得到更类似于创建projectionMatrix_d 时使用的转换，即 (100, 0, 0) 的平移和绕 Y 轴旋转 30°。

如果我在创建投影矩阵时使用反转变换，像这样：

Mat rotation_d = (Mat_<double>(3, 1) << 0, CV_PI / 6.0, 0); // 30° rotation about Y axis
Rodrigues(-rotation_d, rotation_d); // NEGATIVE ROTATION
Mat translation_d = (Mat_<double>(3, 1) << 100, 0, 0);
Mat rt_d;
hconcat(rotation_d, -translation_d, rt_d); // NEGATIVE TRANSLATION
Mat projectionMatrix_d = cameraMatrix * rt_d;

然后我得到rvec 和tvec：

这更有意义。但后来我改变了起始变换，使旋转为负 CV_PI / 6.0 -> -CV_PI / 6.0 和结果 rvec 和 tvec 是：

我想解释为什么会发生这种情况。为什么我从solvePnP 得到如此奇怪的结果。

【问题讨论】：

我可以确认 OpenCV 使用右手坐标系，我也经常使用 triangulatePoints 和 solvePnP。我不确定您的问题是什么，但根据您对问题的描述，我将从调查您的输入数据开始。需要更多详细信息才能准确了解发生了什么（例如相机矩阵、实际代码、输入数据样本等）。

感谢您的回复。我扩展了问题。

我可以确认，用于生成投影矩阵的旋转和平移值不应该反映相机的运动，而是反映点的运动。因此，如果相机向左移动 100 个单位，则与点向右移动 100 个单位相同。但是向右移动应该用于投影矩阵的计算。

我也有同样的问题...谁能帮忙？？

【参考方案1】：

OpenCV 坐标系是右手坐标系，答案here 给出了一个关于OpenCV 相机系统的说明性示例。我猜混淆是关于rvec和tvec，后者没有给出相机的翻译，但它指向世界原点。第一个答案here基于一个例子进行了解释。您可以通过简单的矩阵乘法从solvePnP的输出中得到实际的投影矩阵，详情在第一个答案中here。