多张图像的 OpenCV 特征匹配

Posted 2023-02-16

【中文标题】多张图像的 OpenCV 特征匹配

【英文标题】：OpenCV feature matching for multiple images

【发布时间】：2014-04-11 21:50:51

【问题描述】：

如何使用 FLANN 优化多张图片的 SIFT 特征匹配？

我有一个取自 Python OpenCV 文档的工作示例。但是，这是将一张图像与另一张图像进行比较，而且速度很慢。我需要它来搜索一系列图像（几千张）中匹配的特征，并且我需要它更快。

我目前的想法：

遍历所有图像并保存特征。怎么样？ 将来自相机的图像与上述底座进行比较，并找到正确的图像。怎么样？ 给我结果，匹配图像什么的。

http://docs.opencv.org/trunk/doc/py_tutorials/py_feature2d/py_feature_homography/py_feature_homography.html

import sys # 仅用于调试 将 numpy 导入为 np 导入简历2 从 matplotlib 导入 pyplot 作为 plt MIN_MATCH_COUNT = 10 img1 = cv2.imread('image.jpg',0) # queryImage img2 = cv2.imread('target.jpg',0) # trainImage # 启动 SIFT 检测器 筛选 = cv2.SIFT() # 使用 SIFT 找到关键点和描述符 kp1, des1 = sift.detectAndCompute(img1,None) kp2, des2 = sift.detectAndCompute(img2,None) FLANN_INDEX_KDTREE = 0 index_params = dict（算法 = FLANN_INDEX_KDTREE，树 = 5） search_params = 字典（检查 = 50） flann = cv2.FlannBasedMatcher(index_params, search_params) 匹配 = flann.knnMatch(des1,des2,k=2) # 根据劳氏比率测试存储所有好的匹配。 好=[] 对于 m,n 在比赛中： 如果 m.distance MIN_MATCH_COUNT: src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2) dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2) M, 掩码 = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC,5.0) matchMask = mask.ravel().tolist() h,w = img1.shape pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2) dst = cv2.perspectiveTransform(pts,M) img2 = cv2.polylines(img2,[np.int32(dst)],True,255,3, cv2.LINE_AA) 别的： print "没有找到足够的匹配 - %d/%d" % (len(good),MIN_MATCH_COUNT) 匹配掩码 = 无 draw_params = dict(matchColor = (0,255,0), # 绘制绿色匹配 singlePointColor = 无， matchesMask = matchesMask, # 仅绘制内点 标志 = 2) img3 = cv2.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params) plt.imshow(img3, '灰色'),plt.show()

---

更新

在尝试了很多事情之后，我现在可能更接近解决方案了。我希望可以建立索引，然后像这样在其中搜索：

flann_params = dict（算法=1，树=4） flann = cv2.flann_Index(npArray, flann_params) idx, dist = flann.knnSearch(queryDes, 1, params=)

但是我仍然没有设法为 flann_Index 参数构建一个可接受的 npArray。

循环遍历所有图像作为图像： npArray.append（sift.detectAndCompute（图像，无）） npArray = np.array(npArray)

【参考方案1】：

以下是我的几条建议：

您应该使用适当的技术来减少点数据量。 重复计算参考图像是一种浪费。您应该持久化所有计算的参考。 不要将计算放在移动设备上。您最好将捕获的图像的计算参考上传到功能强大的服务器并在那里进行搜索。

这是一个非常有趣的话题。我的耳朵也在张开。

【讨论】：

谢谢@stanleyxu2005。由于您提到的限制，我不会在任何手机上进行匹配。如上所述，我想尽可能多地保存以供将来比较，所以我们也同意。我只需要了解如何以最有效的方式做到这一点。

“您应该使用适当的技术来减少点数据的数量。”您的意思是过滤关键点并因此过滤描述符吗？这样做的正确技术是什么？我只是把我得到的所有分数。您能否扩展您的答案以提供有关这一点的更多详细信息？

【参考方案2】：

我从未在 Python 中解决过这个问题，但是我将环境切换到了 C++，您可以在其中获得更多 OpenCV 示例，并且不必使用文档较少的包装器。

可以在此处找到有关我在多个文件中匹配问题的示例：https://github.com/Itseez/opencv/blob/2.4/samples/cpp/matching_to_many_images.cpp

【讨论】：

您的链接给出了错误 404。您应该编辑您的答案，以便人们可以导航到您的参考并查看代码 :)

最新网址为：github.com/Itseez/opencv/blob/2.4/samples/cpp/…

实际上 OpenCV-Python 是 OpenCV-C++ 的完整端口。因此，除了一些性能问题外，您可以在 C++ 中执行的所有操作也可以在 Python 中完成。由于 opencv-py 2.4.x 文档记录不佳，您几乎无法在文档中找到所需的任何内容。可以肯定的是没有DescriptorMatcher类，但是python中有像FlannBasedMatcher这样的类，它继承自DescriptorMatcher并具有add/train/match方法。你可以试试这个。

在需要的地方，如果您精通代码，可以利用 C++ 教程并将它们翻译成 Python……Python 太漂亮了，不能离开……

【参考方案3】：

随着@stanleyxu2005 的回复，我想补充一些关于如何自己进行整个匹配的提示，因为我目前正在做这样的事情。

我强烈建议创建一些自定义类来包装 cv::Mat，但也可以存储各种其他基本数据。在我的例子中，我有一个 ImageContainer 存储原始图像（我将用于最终拼接）、处理后的图像（灰度、未失真等）、它的关键点和这些图像的描述符。通过这样做，您可以在组织良好的情况下访问所有匹配相关的信息。您可以在其中实现关键点提取和描述符生成，也可以在类外部执行此操作并将结果存储在该容器中。 将所有图像容器存储在某种结构中（矢量通常是一个不错的选择）以便于访问。 我还创建了一个名为 ImageMultiMatchContainer 的类，它存储一个指向给定查询图像的指针（所有图像都是查询图像），一个带有指向所有训练图像指针的向量（对于图像集的单个查询图像，所有其他图像都是训练图像）匹配的图像）以及每个匹配的匹配向量的向量。在这里，我偶然发现了一个存储问题-首先，您必须跳过图像与其自身的匹配，因为它毫无意义；其次，您会遇到两次比较两个图像的问题，因此如果您有很多图像，则会产生相当大的开销。第二个问题是由于我们遍历所有图像（查询图像）并将它们与集合中的其余图像（训练图像）进行比较。在某些时候，我们有图像 X（查询）与图像 Y（训练）匹配，但后来我们也有图像 Y（现在查询）与图像 X（现在训练）匹配。如您所见，这也是毫无意义的，因为它基本上将同一对图像匹配了两次。这可以通过创建一个类（MatchContainer）来解决（目前正在解决这个问题），该类存储一个指向匹配对中两个图像中每一个的指针以及匹配向量。您将其存储在中心位置（在我的情况下，这是我的匹配器类），并且对于每个图像作为查询图像，您检查火车图像的匹配图像列表。如果它为空，则创建一个新的 MatchContainer 并将其添加到其余的 MatchContainer 中。如果不是，则查看它并查看当前查询图像是否不存在（比较指针是一种快速操作）。如果是，那么您只需将指针传递给存储这两个图像匹配项的 MatchContainer 的矢量项。如果不是这种情况，您就好像它是空的并创建一个新的 MatchContainer 等。 MatchingContainers 应该存储在一个访问时间短的数据结构中，因为您会经常查看它们并从头到尾迭代成本很多时间。我正在考虑使用地图，但也许某种树也可以提供一些优势。 单应性估计是一个非常棘手的部分。这里我推荐你看看捆绑块调整。我看到 OpenCV 中的stitcher 类有一个 BundleBase 类，但还没有测试它以查看其中的内容。

一般的建议是查看 OpenCV 中的拼接过程并阅读源代码。拼接流水线是一组直接的流程，您只需要看看您可以如何准确地实现单个步骤。