使用 pcl 或 opencv 在 2d 场景中匹配 3d 模型

Posted 2023-02-21

【中文标题】使用 pcl 或 opencv 在 2d 场景中匹配 3d 模型

【英文标题】：Matching 3d models in a 2d scene using pcl or opencv

【发布时间】：2017-06-16 04:47:57

【问题描述】：

我有一个用 3d 扫描仪获得的 3d 模型，我想在 2d 场景中匹配它（包含模型的简单 2d 视频）。

我知道 pcl 只处理点云，而 opencv 只处理 2d 图像，是否可以让它们中的任何一个从 3d 模型中提取关键点，然后使用它们在 2d 图像中找到模型？

【问题讨论】：

xkcd.com/1425

所以不可能？

【参考方案1】：

这取决于对象的种类。如果您寻找简单的形状对象作为框，您可以检测 3D 和 2D 中的角并将其匹配在一起。

对于更复杂的对象，也许您必须对点云进行网格划分才能找到可靠的兴趣点。例如，这篇论文https://hal.inria.fr/hal-00682775/file/squelette-rr.pdf 解释了一种在形状或曲面中提取鲁棒点的方法，但我不知道是否会在 2D 和 3D 中提取相同的关键点。

【参考方案2】：

找到所有关键点并将它们投影到地平面上以获得等效的 2D 图像。您也可以使用 pcl 2d 投影技术。 Generate image from an unorganized Point Cloud in PCL的可能重复