用于在 Unity3D 中定位 3D 对象的 OpenCV 旋转（Rodrigues）和平移向量

Posted 2023-03-30

【中文标题】用于在 Unity3D 中定位 3D 对象的 OpenCV 旋转（Rodrigues）和平移向量

【英文标题】：OpenCV rotation (Rodrigues) and translation vectors for positioning 3D object in Unity3D

【发布时间】：2016-04-12 00:28:58

【问题描述】：

我正在使用“OpenCV for Unity3d”资产（它与 Java 的 OpenCV 包相同，但针对 Unity3d 翻译为 C#），以便为我的理学硕士论文（计算机科学）创建增强现实应用程序。

到目前为止，我能够使用 ORB 特征检测器从视频帧中检测到对象，并且我可以使用 OpenCV 的 SolvePnP 方法找到 3D 到 2D 的关系（我也进行了相机校准）。 通过这种方法，我得到了平移和旋转向量。问题出现在增强阶段，我必须将 3d 对象显示为虚拟对象并在每一帧更新其位置和旋转。 OpenCV返回罗德里格斯旋转矩阵，但Unity3d使用四元数旋转，所以我更新对象的位置和旋转错误，我无法弄清楚如何实现转换论坛（从罗德里格斯到四元数）。

获取 rvec 和 tvec：

    Mat rvec = new Mat();
    Mat tvec = new Mat();
    Mat rotationMatrix = new Mat ();

    Calib3d.solvePnP (object_world_corners, scene_flat_corners, CalibrationMatrix, DistortionCoefficientsMatrix, rvec, tvec);
    Calib3d.Rodrigues (rvec, rotationMatrix);

更新虚拟物体的位置：

    Vector3 objPosition = new Vector3 (); 
    objPosition.x = (model.transform.position.x + (float)tvec.get (0, 0)[0]);
    objPosition.y = (model.transform.position.y + (float)tvec.get (1, 0)[0]);
    objPosition.z = (model.transform.position.z - (float)tvec.get (2, 0)[0]);
    model.transform.position = objPosition;

我在 Z 轴上有一个减号，因为当您将 OpenCV 转换为 Unty3d 的系统坐标时，您必须反转 Z 轴（我自己检查了系统坐标）。

Unity3d的坐标系（绿色为Y，红色为X，蓝色为Z）：

OpenCV 的坐标系：

此外，我对旋转矩阵做了同样的事情，并更新了虚拟对象的旋转。

p.s 我发现了一个类似的问题，但是提出这个问题的人没有明确发布解决方案。

谢谢！

【参考方案1】：

你在 cv::solvePnP 之后有你的旋转 3x3 矩阵。该矩阵，因为它是一个旋转，既是正交和归一化。因此，该矩阵的列按从左到右的顺序排列：

右向量（在 X 轴上）； 向上向量（在 Y 轴上）； 前向矢量（在 Z 轴上）。

OpenCV 使用右手坐标系。坐在相机上沿光轴看，X轴向右，Y轴向下，Z轴向前。

您将前向向量 F = (fx, fy, fz) 和向上向量 U = (ux, uy, uz) 传递给 Unity。这些分别是第三列和第二列。无需标准化；它们已经标准化了。

在 Unity 中，您可以像这样构建四元数：

Vector3 f; // from OpenCV
Vector3 u; // from OpenCV

// notice that Y coordinates here are inverted to pass from OpenCV right-handed coordinates system to Unity left-handed one
Quaternion rot = Quaternion.LookRotation(new Vector3(f.x, -f.y, f.z), new Vector3(u.x, -u.y, u.z));

差不多就是这样。希望这会有所帮助！

编辑位置相关评论

注意：OpenCV 中的 Z 轴位于相机的光轴上，该光轴穿过中心附近的图像，但通常不完全位于中心。在您的校准参数中，有 Cx 和 Cy 参数。这些组合是图像空间中从中心到 Z 轴穿过图像的位置的 2D 偏移。必须考虑到这种转变，才能将 3D 内容准确地映射到 2D 背景上。

在 Unity 中获得正确定位：

// STEP 1 : fetch position from OpenCV + basic transformation
Vector3 pos; // from OpenCV
pos = new Vector3(pos.x, -pos.y, pos.z); // right-handed coordinates system (OpenCV) to left-handed one (Unity)

// STEP 2 : set virtual camera's frustrum (Unity) to match physical camera's parameters
Vector2 fparams; // from OpenCV (calibration parameters Fx and Fy = focal lengths in pixels)
Vector2 resolution; // image resolution from OpenCV
float vfov =  2.0f * Mathf.Atan(0.5f * resolution.y / fparams.y) * Mathf.Rad2Deg; // virtual camera (pinhole type) vertical field of view
Camera cam; // TODO get reference one way or another
cam.fieldOfView = vfov;
cam.aspect = resolution.x / resolution.y; // you could set a viewport rect with proper aspect as well... I would prefer the viewport approach

// STEP 3 : shift position to compensate for physical camera's optical axis not going exactly through image center
Vector2 cparams; // from OpenCV (calibration parameters Cx and Cy = optical center shifts from image center in pixels)
Vector3 imageCenter = new Vector3(0.5f, 0.5f, pos.z); // in viewport coordinates
Vector3 opticalCenter = new Vector3(0.5f + cparams.x / resolution.x, 0.5f + cparams.y / resolution.y, pos.z); // in viewport coordinates
pos += cam.ViewportToWorldPoint(imageCenter) - cam.ViewportToWorldPoint(opticalCenter); // position is set as if physical camera's optical axis went exactly through image center

您将从物理相机检索到的图像放在虚拟相机的正前方，以它的前轴为中心（缩放以适合截锥体），然后您就可以在 2D 背景上映射适当的 3D 位置！

【讨论】：

现在一切都说得通了 :) 顺便说一句，我认为我的翻译向量是错误的。场景中的 3d 对象移动错误！我在那里做错了什么？

对于位置，反转 Y 坐标，就像对方向向量必须做的那样。不过需要注意的一件非常重要的事情：Z 轴是相机的光轴，通常不通过图像中心。在您的校准参数中，有 Cx 和 Cy 参数。这些组合是相机光轴（Z 轴）在图像中穿过的图像中心在图像空间中的 2D 偏移。对于 AR 应用，将 3D 内容映射到 2D 背景上非常重要！

那么必须进行哪些修改才能使其正常工作？相机校准后，我得到了相机的内在参数。我必须如何使用它们才能正确定位虚拟对象？

非常感谢您的帮助以及您花时间向我解释这些事情！最后一个问题:)：Unity3D 使用的测量单位是什么？我的 3D 坐标使用 cm（厘米）进行初始化。

Unity 中的 1 个无单位单位在游戏中通常被解释为 1 米。您可以根据需要缩放位置。