使用 OpenCV 描述符与 findFundamentalMat 匹配

Posted 2023-02-22

【中文标题】使用 OpenCV 描述符与 findFundamentalMat 匹配

【英文标题】：Using OpenCV descriptor matches with findFundamentalMat

【发布时间】：2011-05-09 13:03:54

【问题描述】：

我之前发布过关于同一程序的问题，但没有收到任何答复。我已经纠正了我当时遇到的问题，只是遇到了一个新问题。

基本上，我使用未校准的方法自动校正立体图像对以进行旋转和平移。我使用 SURF 等特征检测算法在两个图像中找到点，一个左右立体图像对，然后再次使用 SURF 匹配两个图像之间的点。然后我需要使用这些匹配点来找到可以用来校正图像的基本矩阵。

我的问题是这个。我的匹配点存储在描述符匹配的单个向量中，然后针对异常值进行过滤。 findFundamentalMat 将两个单独的匹配点数组作为输入。我不知道如何从我的向量转换为我的两个单独的数组。

cout << "< Matching descriptors..." << endl;
vector<DMatch> filteredMatches;
crossCheckMatching( descriptorMatcher, descriptors1, descriptors2, filteredMatches, 1 );
cout << filteredMatches.size() << " matches" << endl << ">" << endl;

矢量已创建。

void crossCheckMatching( Ptr<DescriptorMatcher>& descriptorMatcher,
                         const Mat& descriptors1, const Mat& descriptors2,
                         vector<DMatch>& filteredMatches12, int knn=1 )

    filteredMatches12.clear();
    vector<vector<DMatch> > matches12, matches21;
    descriptorMatcher->knnMatch( descriptors1, descriptors2, matches12, knn );
    descriptorMatcher->knnMatch( descriptors2, descriptors1, matches21, knn );
    for( size_t m = 0; m < matches12.size(); m++ )
    
        bool findCrossCheck = false;
        for( size_t fk = 0; fk < matches12[m].size(); fk++ )
        
            DMatch forward = matches12[m][fk];

            for( size_t bk = 0; bk < matches21[forward.trainIdx].size(); bk++ )
            
                DMatch backward = matches21[forward.trainIdx][bk];
                if( backward.trainIdx == forward.queryIdx )
                
                    filteredMatches12.push_back(forward);
                    findCrossCheck = true;
                    break;
                
            
            if( findCrossCheck ) break;
        
    

匹配项经过交叉检查并存储在过滤匹配项中。

cout << "< Computing homography (RANSAC)..." << endl;
vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
H12 = findHomography( Mat(points1), Mat(points2), CV_RANSAC, ransacReprojThreshold );
cout << ">" << endl;

根据运行时在命令提示符中设置的阈值找到单应性。

//Mat drawImg;
if( !H12.empty() ) // filter outliers

    vector<char> matchesMask( filteredMatches.size(), 0 );
    vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
    vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
    Mat points1t; perspectiveTransform(Mat(points1), points1t, H12);
    for( size_t i1 = 0; i1 < points1.size(); i1++ )
    
        if( norm(points2[i1] - points1t.at<Point2f>((int)i1,0)) < 4 ) // inlier
            matchesMask[i1] = 1;
    
    /* draw inliers
    drawMatches( leftImg, keypoints1, rightImg, keypoints2, filteredMatches, drawImg, CV_RGB(0, 255, 0), CV_RGB(0, 0, 255), matchesMask, 2 ); */

匹配被进一步过滤以去除异常值。

...然后呢？如何将剩下的内容拆分为两个匹配点 Mat，以便在 findFundamentalMat 中使用？

编辑

我现在已经使用我的掩码制作了一个 finalMatches 向量（这取代了上面的最终过滤过程）：

Mat drawImg;
if( !H12.empty() ) // filter outliers

    size_t i1;
    vector<char> matchesMask( filteredMatches.size(), 0 );
    vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
    vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
    Mat points1t; perspectiveTransform(Mat(points1), points1t, H12);
    for( i1 = 0; i1 < points1.size(); i1++ )
    
        if( norm(points2[i1] - points1t.at<Point2f>((int)i1,0)) < 4 ) // inlier
            matchesMask[i1] = 1;
    
    for( i1 = 0; i1 < filteredMatches.size(); i1++ )
    
        if ( matchesMask[i1] == 1 )
            finalMatches.push_back(filteredMatches[i1]);
    
    namedWindow("matches", 1);
    // draw inliers
    drawMatches( leftImg, keypoints1, rightImg, keypoints2, filteredMatches, drawImg, CV_RGB(0, 255, 0), CV_RGB(0, 0, 255), matchesMask, 2 );
    imshow("matches", drawImg);

但是我仍然不知道如何将我的 finalMatches DMatch 向量拆分为需要输入 findFundamentalMat 的 Mat 数组，请帮助！！！

编辑

工作（某种）解决方案：

Mat drawImg;
vector<Point2f> finalPoints1;
vector<Point2f> finalPoints2;
if( !H12.empty() ) // filter outliers

    size_t i, idx;
    vector<char> matchesMask( filteredMatches.size(), 0 );
    vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
    vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
    Mat points1t; perspectiveTransform(Mat(points1), points1t, H12);

    for( i = 0; i < points1.size(); i++ )
    
        if( norm(points2[i] - points1t.at<Point2f>((int)i,0)) < 4 ) // inlier
            matchesMask[i] = 1;
    

    for ( idx = 0; idx < filteredMatches.size(); idx++)
    
        if ( matchesMask[idx] == 1 ) 
            finalPoints1.push_back(keypoints1[filteredMatches[idx].queryIdx].pt);
            finalPoints2.push_back(keypoints2[filteredMatches[idx].trainIdx].pt);
        
        

    namedWindow("matches", 0);
    // draw inliers
    drawMatches( leftImg, keypoints1, rightImg, keypoints2, filteredMatches, drawImg, CV_RGB(0, 255, 0), CV_RGB(0, 0, 255), matchesMask, 2 );
    imshow("matches", drawImg);

然后我将 finalPoints1 和 finalPoints2 作为 Mat 提供给 findFundamentalMat。现在我唯一的问题是我的输出不像预期的那样远程，图像都搞砸了：-/

【参考方案1】：

您的匹配数组是描述符数组的偏移量。由于每个描述符都有一个对应的关键点，您可以简单地从索引中迭代并构建两个关键点数组。然后可以将这些关键点输入 findFundamentalMat。

编辑：

我相信你的错误是在你丢失信息的地方生成 finalMatches。向量filteredMatches 被重载。 matchMask 为 1 的索引显示关键点 1 的索引，而存储到 finalMatches 的索引是关键点 2 的索引。通过缩减到 finalMatches，您实际上丢失了第一组索引。

尝试以下方法：

有一个循环来计算有多少实际匹配：

int num_matches = 0;
for( int idx = 0; idx < matchesMask.size(); idx++ )

    if ( matchesMask[idx] == 1 )
        num_matches++;

现在声明正确大小的 CvMat：

matched_points1  = cvCreateMat(2,numPoints,CV_32F);
matched_points2  = cvCreateMat(2,numPoints,CV_32F);

现在遍历filteredMatches并插入：（确切的语法可能不同，你明白了）

offset = 0;
for (int idx = 0; idx < matchesMask.size(); idx++)

    if ( matchesMask[idx] == 1 ) 
        matched_points1[2*offset] = keypoints1[idx].pt.x;
        matched_points1[2*offset+1] = keypoints1[idx].pt.y;
        matched_points2[2*offset] = keypoints2[filteredMatches[idx]].pt.x;
        matched_points2[2*offset+1] = keypoints2[filteredMatches[idx]].pt.y;
        offset++;
    
    

【讨论】：

我一直在尝试这样做，您能否就实际实施给我更具体的建议？

太棒了，这并没有按原样工作，但我已将其简化为可行的解决方案。在原始问题中作为编辑发布，因为我不确定如何在评论中发布代码。

很高兴你找到了一些有用的东西。您可能需要检查行主要与列主要表示。这可能是图像被搞砸的来源。附：接受或赞成会很好。

接受！试图投票，但它不会让我......声誉太低。