OpenCV中具有容差的模板匹配

Posted 2023-02-19

【中文标题】OpenCV中具有容差的模板匹配

【英文标题】：Template Matching with tolerance in OpenCV

【发布时间】：2014-01-27 14:10:20

【问题描述】：

我正在使用 OpenCV 和 C++。我想检查一个图像是否是另一个图像的一部分，并且已经找到一个名为matchTemplate 的函数正在工作。但是如果模板图像有点不同怎么办？是否有类似matchTemplate 的函数或方法可以检查模板是否是源图像的一部分，但具有position、angle、size 等容差参数 甚至可能是变形？还是我需要一种与模板匹配完全不同的方法？

到目前为止，这是我的代码，它在源图像中找到模板图像，但没有（或几乎没有）容差。

#include <opencv2\core\core.hpp>
#include <opencv2\highgui\highgui.hpp>
#include <opencv2\imgproc\imgproc.hpp>
#include <opencv2\highgui\highgui.hpp>
#include <iostream>
#include <stdio.h>

using namespace cv;
using namespace std;

/// Global Variables
Mat img; Mat templ; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;

/// Function Headers
void MatchingMethod( int, void* );

/**
* @function main
*/
int main( int, char** argv )

  /// Load image and template
  img = imread( "a1.jpg", 1 );
  templ = imread( "a2.jpg", 1 );

  /// Create windows
  namedWindow( image_window, WINDOW_AUTOSIZE );
  namedWindow( result_window, WINDOW_AUTOSIZE );

  /// Create Trackbar
  const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
  createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

  MatchingMethod( 0, 0 );

  waitKey(0);
  return 0;


/**
* @function MatchingMethod
* @brief Trackbar callback
*/
void MatchingMethod( int, void* )

  /// Source image to display
  Mat img_display;
  img.copyTo( img_display );

  /// Create the result matrix
  int result_cols = img.cols - templ.cols + 1;
  int result_rows = img.rows - templ.rows + 1;

  result.create( result_cols, result_rows, CV_32FC1 );

  /// Do the Matching and Normalize
  matchTemplate( img, templ, result, match_method );
  normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

  /// Localizing the best match with minMaxLoc
  double minVal; double maxVal; Point minLoc; Point maxLoc;
  Point matchLoc;

  minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );


  /// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
  if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
     matchLoc = minLoc; 
  else
     matchLoc = maxLoc; 

  /// Show me what you got
  rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
  rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

  imshow( image_window, img_display );
  imshow( result_window, result );

  return;

我在代码中使用的图片：

【问题讨论】：

您可以尝试不同的方法 - 本地描述符匹配。需要我详细说明一下吗？

你可以试试Grayscale Template-Matching Invariant to rotation, Scale, Translation, Brightness and ContrastHae Yong Kim and Sidnei Alves de Araújo的论文

感谢您的回复。我已经尝试过特征匹配，到目前为止这对我有用。目前我正在研究形状匹配，看看是否能找到更好的方法。

【参考方案1】：

您已经确定了模板匹配的主要限制。它对图像的任何变形都非常脆弱。模板匹配的工作原理是在图像周围滑动一个模板大小的框，并检查模板与框内区域之间的相似性。它使用逐像素比较方法检查相似性，例如归一化互相关。如果你想允许不同的大小和旋转，你需要编写一个循环来放大或缩小原始模板，或者旋转它。它变得非常低效。

如果你想允许变形，并且在不同的尺度和旋转下进行更有效的搜索，标准方法是 SURF。如果您的图像具有良好的分辨率，那么它非常有效且非常准确，而您就是这样做的。您可以谷歌教程并找到使用 SURF 查找对象的示例代码。基本上，SURF 识别模板和图像中的关键点（独特的图像区域）。然后，您在图像中找到与模板匹配的关键点数量最多的区域。 （如果您已经这样做了，这就是您所说的“特征匹配”，那么我认为您走在正确的轨道上。）

【讨论】：

感谢您的回答。我已经有一段时间没有问这个问题了。我的软件目前处于测试阶段，因此项目即将结束。早在一月份，我尝试了一些不同的匹配方法，然后决定也使用 SURF。效果很好，我真的可以推荐它。

@Mickey SURF 算法是否也适用于缩放图像？