OpenCV Sift/Surf/Orb：drawMatch 功能无法正常工作

Posted 2023-05-06

【中文标题】OpenCV Sift/Surf/Orb：drawMatch 功能无法正常工作

【英文标题】：OpenCV Sift/Surf/Orb : drawMatch function is not working well

【发布时间】：2014-08-24 12:16:57

【问题描述】：

我使用 Sift/Surf 和 ORB，但有时我在使用 drawMatch 函数时遇到问题。

这里是错误：

OpenCV 错误：drawMatches 中的断言失败 (i2 >= 0 && i2 = 0 && i2

代码：

drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,matches);

我试图用 img2 和 keypoints_img2 反转 img 1,keypoints_img1 ：

drawMatchPoints(img2,keypoints_img2,img1,keypoints_img1,matches);

对应于我正在做单应性的函数：

void drawMatchPoints(cv::Mat image1,std::vector<KeyPoint> keypoints_img1,
                                      cv::Mat image2,std::vector<KeyPoint> keypoints_img2,std::vector<cv::DMatch> matches)

    cv::Mat img_matches;
    drawMatches( image1, keypoints_img1, image2, keypoints_img2,
                         matches, img_matches, Scalar::all(-1), Scalar::all(-1),
                         vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
            std::cout << "Number of good matching " << (int)matches.size() << "\n" << endl;



            //-- Localize the object
            std::vector<Point2f> obj;
            std::vector<Point2f> scene;

            for( int i = 0; i < matches.size(); i++ )
            
              //-- Get the keypoints from the good matches
              obj.push_back( keypoints_img1[ matches[i].queryIdx ].pt );
              scene.push_back( keypoints_img2[matches[i].trainIdx ].pt );
            

            Mat H = findHomography( obj, scene, CV_RANSAC );
            std::cout << "Size of homography " << *H.size << std::endl ;

            //-- Get the corners from the image_1 ( the object to be "detected" )
            std::vector<Point2f> obj_corners(4);
            obj_corners[0] = cvPoint(0,0); obj_corners[1] = cvPoint( image1.cols, 0 );
            obj_corners[2] = cvPoint( image1.cols, image1.rows ); obj_corners[3] = cvPoint( 0, image1.rows );
            std::vector<Point2f> scene_corners(4);


            perspectiveTransform( obj_corners, scene_corners, H);


            //-- Draw lines between the corners (the mapped object in the scene - image_2 )
            line( img_matches, scene_corners[0] + Point2f( image1.cols, 0), scene_corners[1] + Point2f( image1.cols, 0), Scalar(0, 255, 0), 4 );
            line( img_matches, scene_corners[1] + Point2f( image1.cols, 0), scene_corners[2] + Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );
            line( img_matches, scene_corners[2] + Point2f( image1.cols, 0), scene_corners[3] + Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );
            line( img_matches, scene_corners[3] + Point2f( image1.cols, 0), scene_corners[0] + Point2f( image1.cols, 0), Scalar( 0, 255, 0), 4 );

            //-- Show detected matches
            cv::imshow( "Good Matches & Object detection", img_matches );
            cv::waitKey(5000);

但我仍然有错误！

我注意到当我的 keypoints_img1 小于 的大小小于我的 keypoints_img2 的大小时发生错误：

大小 keyPoint1 : 244 - 大小 keyPoint2 : 400

因此，如果我反转我的两张图片的加载，这可行，但如果我的第一张图片比我的第二张图片有更多的关键点，我现在不能提前...

我的代码（最重要的一步）为了创建功能：

init_Sift(400,5,0.04,25,1.6);
void init_Sift(int nf,int nOctaveL,double contrastThresh, double edgeThresh,double sigma)
this->nfeatureSift=nf;
this->nOctaveLayerSift=nOctaveL;
this->contrastThresholdSift=contrastThresh;
this->edgeThresholdSift=edgeThresh;
this->sigmaSift=sigma;



 cv::FeatureDetector* detector=new SiftFeatureDetector(nfeatureSift,nOctaveLayerSift,contrastThresholdSift,edgeThresholdSift,sigmaSift);
cv::DescriptorExtractor* extractor=new SiftDescriptorExtractor

extractor->compute( image, keypoints, descriptors );

匹配部分：

    std::cout << "Type of matcher : " << type_of_matcher << std::endl;
if (type_of_matcher=="FLANN" || type_of_matcher=="BF")
    std::vector<KeyPoint> keypoints_img1 = keyfeatures.compute_Keypoints(img1);
    std::vector<KeyPoint> keypoints_img2 = keyfeatures.compute_Keypoints(img2);

    cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1);
    cv::Mat descriptor_img2 = keyfeatures.compute_Descriptors(img2);

    std::cout << "Size keyPoint1 " << keypoints_img1.size() << "\n" << std::endl;
    std::cout << "Size keyPoint2 " << keypoints_img2.size() << "\n" << std::endl;

    //Flann with sift or surf
    if (type_of_matcher=="FLANN")
        Debug::info("USING Matcher FLANN");
        fLmatcher.match(descriptor_img1,descriptor_img2,matches);

        double max_dist = 0; double min_dist = 100;

        //-- Quick calculation of max and min distances between keypoints
        for( int i = 0; i < descriptor_img1.rows; i++ )
            double dist = matches[i].distance;
            if( dist < min_dist ) min_dist = dist;
            if( dist > max_dist ) max_dist = dist;
         

        std::vector< DMatch > good_matches;

          for( int i = 0; i < descriptor_img1.rows; i++ )
           if( matches[i].distance <= max(2*min_dist, 0.02) )
             good_matches.push_back( matches[i]); 
          

          std::cout << "Size of good match : " <<  (int)good_matches.size() << std::endl;
          //-- Draw only "good" matches
          if (!good_matches.empty())
              drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,good_matches);

          
          else 
              Debug::error("Flann Matcher : Pas de match");
              cv::Mat img_matches;
              drawMatches( img1, keypoints_img1, img2, keypoints_img2,
                                matches, img_matches, Scalar::all(-1), Scalar::all(-1),
                                vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
              cv::imshow( "No match", img_matches );
              cv::waitKey(5000);
          

    
    //BruteForce with sift or surf
    else if (type_of_matcher=="BF")
        Debug::info("USING Matcher Brute Force");

        bFmatcher.match(descriptor_img1,descriptor_img2,matches);
        if (!matches.empty())
            std::nth_element(matches.begin(),//Initial position
                             matches.begin()+24, //Position  of the sorted element
                             matches.end());//End position
            matches.erase(matches.begin()+25,matches.end());

            drawMatchPoints(img1,keypoints_img1,img2,keypoints_img2,matches);
            //drawMatchPoints(img2,keypoints_img2,img1,keypoints_img1,matches);
        
        else 
            Debug::error("Brute Force matcher  : Pas de match");
            cv::Mat img_matches;
            drawMatches( img1, keypoints_img1, img2, keypoints_img2,
                              matches, img_matches, Scalar::all(-1), Scalar::all(-1),
                              vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
            cv::imshow( "No match", img_matches );
            cv::waitKey(5000);

        

您有什么建议或建议吗？

编辑：我解决了我的问题。 我有一个 c++ 问题，因为我有两个类。一个关于匹配，另一个关于查找 keyFeature。我已经在我的 .h std::vector 上写过，对于描述符也是如此。

class keyFeatures

public:
...   
std::vector<keyPoint> keypoints;
...

我删除了这个属性，我做了一个函数，接受参数 std::vector keypoints

cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1,keypoints_img1);

而不是

cv::Mat descriptor_img1 = keyfeatures.compute_Descriptors(img1);

我认为在我进行匹配时存在冲突... 但我不知道为什么我不应该把它写在我的 .h 上并在我的函数上做一个本地参数。

谢谢！

【问题讨论】：

据我所知，没有 cv::drawMatchPoints() 这样的东西。但是有 cv::drawMatches()。你能提供更多信息和代码吗？由于 cv::drawMatches() 使用匹配数据来显示实际匹配，因此两个图像中关键点数量的差异应该不会造成问题。从github.com/Itseez/opencv/blob/master/modules/features2d/src/… 和#L189 的源代码中可以看到，所有剩余的关键点都是使用 cv::drawKeypoints() 简单绘制的。

至于事先不知道的部分-在调用 cv::drawMatches() 之前，您实际上确实知道每个图像的每个关键点向量的大小（否则您将无法调用它 ;））。作为替代解决方案（尽管仍未解释手头的问题），您可以检查两个关键点向量的大小并在必要时交换它们的位置。在answers.opencv.org/question/12048/drawmatches-bug 可以看到同样的问题，似乎交换应该已经解决了这个问题。这就是为什么我还在第一条评论中要求提供更多代码 - 特别是匹配过程

是的，对不起，我已经编辑了我的帖子。实际上 drawMatchPoint 是我创建的一个函数，其中包含函数 cv::drawMatches()。但我试图交换这两个参数，但它不起作用。我有同样的错误。关于 answer.opencv 的链接，我已经看过了...谢谢！

嗯，你用的是什么匹配器？您还可以实际显示创建匹配向量的确切代码吗？我刚刚检查了我自己的代码，我使用 ORB 将航拍图像拼接在一起，并为每个图像与所有其他图像进行交叉匹配。我将我的 ORB 设置为尝试检测每张图像 600 个特征。有些返回 600，但有些返回更少（例如 569），这会自动落在您的情况下，但是没有发生此类错误，一切都按计划进行。

获得更好输出的提示：您可以使用 findHomography() 生成的掩码和 drawMatches() 中的 RANSAC 来实际显示 RANSACed 点及其对应的匹配项。显示结果应该始终是您的最后一步，而不是第一步。

【参考方案1】：

对于像我这样搜索过但找不到解决方案的人。

断言失败 (i2 >= 0 && i2

这意味着断言由于 i2 小于 0 或 i2 小于 keypoints2 大小而失败。但什么是 i2？

来自 rbaleksandar 在评论中提供的链接

int i2 = matches1to2[m].trainIdx;

trainIdx 这里是 keypoints2 中的索引。检查 i2

对我来说，这是因为我在调用 drawMatches 之前丢弃了一些关键点，但在计算了描述符之后，即调用了 DescriptorExtractor#compute。这意味着 drawMatches 通过描述符引用旧的关键点，而我更改了这些关键点。最终结果是一些关键点的 idx 很大，但关键点的大小很小，因此会出现错误。