如何使用opencv实现图像匹配

Posted 2023-05-03

OpenCV中有一些已经实现的匹配库。一般是先寻找特征点，然后匹配特征点。
寻找特征点一般有Harris（opencv中函数：cornerHarris），FAST（opencv中函数：FastFeatureDetector）等，匹配主要有SURF，SIFT等。可查阅OpenCV使用手册学习调用，同时Opencv也有一些例子，可参考一下。 参考技术A 可以找一下模板匹配或者sift，suft角点匹配的算法来实现

使用Python,OpenCV进行模板匹配单对象多对象及多尺度模板匹配

使用Python,OpenCV进行模板匹配单对象、多对象及多尺度模板匹配

• • 1. 效果图
  • • 1.1 模板匹配单对象
    • 1.2 模板匹配多对象
    • 1.3 多尺度模板匹配
  • 2. 原理
  • 3. 源码
  • • 3.1 模板匹配单对象
    • 3.2 模板匹配多对象
  • 参考

这篇博客将介绍如何使用模板匹配在图像中查找对象。模板匹配是一种在较大的图像中寻找模板图像位置的方法。OpenCV使用cv2.matchTemplate() 、cv2.minMaxLoc()实现模板匹配。

主要分为3部分：

1. 模板匹配单对象
2. 模板匹配多对象
3. 多尺度模板匹配（本文是用的与原始图要检测的对象具有相同大小，尺寸的模板进行的匹配；这里可以优化，即模板图像放大缩小都可以被检测到，可参考：使用Python和OpenCV进行多尺度模板匹配）

1. 效果图

1.1 模板匹配单对象

cv2.TM_CCOEFF效果图如下：

cv2.TM_CCOEFF_NORMED效果图如下：
cv2.TM_CCORR：
可以看到cv2.TM_CCORR效果并不好，没有成功检测到模板；
cv2.TM_CCORR_NORMED：
cv2.TM_SQDIFF：
cv2.TM_SQDIFF_NORMED：

1.2 模板匹配多对象

硬币模板图如下：

原图 VS 多个对象（硬币模板）被成功检测效果图如下：
可看到超级马丽原始图中有6个硬币模板，均被成功检测到（硬币对象上均绘制了红色框）；

1.3 多尺度模板匹配

当模板大小和原始图中模板大小不一致时，也可以匹配，效果图如下：

2. 原理

OpenCV使用cv2.matchTemplate() 、cv2.minMaxLoc()实现模板匹配。它将模板图像滑动到输入图像上（如二维卷积），并在模板图像下比较输入图像；

res = cv2.matchTemplate(img, template, method)

• img：原始灰度图像
• template：模板灰度图像
• method：6种，可为cv2.TM_CCOEFF、cv2.TM_CCOEFF_NORMED、cv2.TM_CCORR、cv2.TM_CCORR_NORMED、cv2.TM_SQDIFF、cv2.TM_SQDIFF_NORMED；
• res：它返回一个灰度图像，其中每个像素表示该像素的邻域与模板匹配的程度。

如果输入图像的大小为（WxH），模板图像的大小为（wxh），则输出图像的大小为（W-w+1，H-h+1）。可以使用cv2.minMaxLoc() 函数来查找最大/最小值的位置。以它作为矩形的左上角，以（w，h）作为矩形的宽度和高度，这个矩形就是模板区域。

本文是用的与原始图对象具有相同大小，尺寸的模板进行的匹配；
这里可以优化，即模板图像放大缩小都可以被检测到，可参考：使用Python和OpenCV进行多尺度模板匹配

3. 源码

3.1 模板匹配单对象

# 使用Python,OpenCV进行模板匹配查找对象
# 模板匹配单对象

import cv2
from matplotlib import pyplot as plt

img = cv2.imread('zly.jpg', 0)
img2 = img.copy()
template = cv2.imread('zly_template.jpg', 0)
w, h = template.shape[::-1]

# 6中匹配的方法
methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED', 'cv2.TM_CCORR',
           'cv2.TM_CCORR_NORMED', 'cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']

for meth in methods:
    img = img2.copy()
    method = eval(meth)

    # 应用模板匹配
    # 如果输入图像的大小为（WxH），模板图像的大小为（wxh），则输出图像的大小为（W-w+1，H-h+1）。
    # 一旦得到结果，就可以使用cv2.minMaxLoc() 函数来查找最大/最小值的位置。
    # 以它作为矩形的左上角，以（w，h）作为矩形的宽度和高度就得到模板区域。
    res = cv2.matchTemplate(img, template, method)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

    # 如果方法是TM_SQDIFF或者TM_SQDIFF_NORMED，取最小值
    if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
        top_left = min_loc
    else:
        top_left = max_loc
    bottom_right = (top_left[0] + w, top_left[1] + h)

    cv2.rectangle(img, top_left, bottom_right, 255, 2)

    plt.subplot(121), plt.imshow(res, cmap='gray')
    plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
    plt.subplot(122), plt.imshow(img, cmap='gray')
    plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
    plt.suptitle(meth)

    plt.show()

3.2 模板匹配多对象

# 模板匹配多对象（在超级玛丽中检测多个硬币模板对象）

import cv2
import numpy as np

img_rgb = cv2.imread('cjml.jpg')
cv2.imshow("origin",img_rgb)
img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
template = cv2.imread('cjml_template.jpg')
cv2.imshow("template",template)
template = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)

w, h = template.shape[::-1]

res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
threshold = 0.8
loc = np.where(res >= threshold)
for pt in zip(*loc[::-1]):
    cv2.rectangle(img_rgb, pt, (pt[0] + w, pt[1] + h), (0, 0, 255), 2)

cv2.imwrite('cjml_res.jpg', img_rgb)
cv2.imshow("cjml_res",img_rgb)
cv2.waitKey(0)

参考

• https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_imgproc/py_template_matching/py_template_matching.html#py-template-matching