如何优化多图像拼接?

Posted

技术标签:

【中文标题】如何优化多图像拼接?【英文标题】:How can I optimize Multiple image stitching? 【发布时间】:2017-03-02 07:05:50 【问题描述】:

我正在 Visual Studio 2012,C++ 中进行多图像拼接。我已经根据我的要求修改了stitching_detailed.cpp,它提供了高质量的结果。这里的问题是,它需要太多时间来执行。对于 10 张图片,大​​约需要 110 秒

这是花费最多时间的地方:

1) 成对匹配 - 10 张图像需要 55 秒!我正在使用 ORB 来查找特征点。代码如下:

vector<MatchesInfo> pairwise_matches;
BestOf2NearestMatcher matcher(false, 0.35);
matcher(features, pairwise_matches);
matcher.collectGarbage();

我尝试使用此代码,因为我已经知道图像的顺序:

vector<MatchesInfo> pairwise_matches;
BestOf2NearestMatcher matcher(false, 0.35);

Mat matchMask(features.size(),features.size(),CV_8U,Scalar(0));
for (int i = 0; i < num_images -1; ++i)                                                 
    matchMask.at<char>(i,i+1) =1;                                                       
matcher(features, pairwise_matches, matchMask);                                         

matcher.collectGarbage();

它确实减少了时间(18 秒),但不会产生所需的结果。只有 6 张图像被缝合(最后 4 张被省略,因为图像 6 和图像 7 的特征点不匹配。因此循环中断。)

2) 合成 - 10 张图像需要 38 秒!代码如下:

for (int img_idx = 0; img_idx < num_images; ++img_idx)

    printf("Compositing image #%d\n",indices[img_idx]+1);

    // Read image and resize it if necessary
    full_img = imread(img_names[img_idx]);

    Mat K;
    cameras[img_idx].K().convertTo(K, CV_32F);

    // Warp the current image
    warper->warp(full_img, K, cameras[img_idx].R, INTER_LINEAR, BORDER_REFLECT, img_warped);

    // Warp the current image mask
    mask.create(full_img.size(), CV_8U);
    mask.setTo(Scalar::all(255));
    warper->warp(mask, K, cameras[img_idx].R, INTER_NEAREST, BORDER_CONSTANT, mask_warped);

    // Compensate exposure
    compensator->apply(img_idx, corners[img_idx], img_warped, mask_warped);

    img_warped.convertTo(img_warped_s, CV_16S);
    img_warped.release();
    full_img.release();
    mask.release();

    dilate(masks_warped[img_idx], dilated_mask, Mat());
    resize(dilated_mask, seam_mask, mask_warped.size());
    mask_warped = seam_mask & mask_warped;

    // Blend the current image
    blender->feed(img_warped_s, mask_warped, corners[img_idx]);


Mat result, result_mask;
blender->blend(result, result_mask);

原图分辨率为4160*3120。我没有在合成中使用压缩,因为它会降低质量。我在其余代码中使用了压缩图像。

如您所见,我修改了代码并缩短了时间。但我还是想尽可能地减少时间。

3) 寻找特征点 - 使用 ORB。 10 张图片需要 10 秒。查找图像的最大 1530 个特征点。

55 + 38 + 10 = 103 + 7 其余代码 = 110.

当我在 android 中使用此代码时,它几乎需要智能手机的整个内存 (RAM) 才能执行。如何减少 Android 设备的时间和内存消耗? (我使用的 Android 设备有 2 GB RAM)

我已经优化了其余的代码。非常感谢任何帮助!

编辑 1:我在合成步骤中使用了图像压缩,时间从 38 秒减少到 16 秒。我还设法减少了其余代码的时间。

现在,从 110 -> 85 秒。帮助我减少成对匹配的时间;我不知道如何减少它!

编辑2:我在matchers.cpp 中找到了成对匹配的代码。我在主代码中创建了自己的函数来优化时间。对于合成步骤,我使用压缩直到最终图像不失去清晰度。对于特征查找,我使用图像缩放来查找缩小图像比例的图像特征。现在我可以轻松拼接多达 50 张图像。

【问题讨论】:

【参考方案1】:

由于 55 到 18 秒是一个相当不错的改进,也许您可​​以多控制一点匹配过程。我首先建议的是——如果你还没有——学习调试过程的每一步,以了解当图像没有缝合时出了什么问题。这样,您将始终学会控制例如您正在检测的 ORB 特征的数量。也许在某些情况下您可以限制它们并仍然获得结果,从而加快过程(这不仅应该加快寻找特征的速度,还应该加快匹配过程)。

希望当循环中断时 - 正如您所说的那样,这将导致您能够检测到这种情况。因此,您可以对情况做出相应的反应。您仍然会在循环中匹配该序列,从而节省时间,但当您检测到匹配该特定对存在问题时,会强制程序继续(或更改参数并尝试再次匹配该对)。

我认为这里的合成过程没有太大的改进空间,因为你不想失去质量。如果我是你,我会尝试研究线程和并行计算是否可以提供帮助。

这是一个有趣且普遍存在的问题 - 如果您能够在不放弃质量的情况下加快速度,您应该致电 LG 或 Google,因为我在 Nexus 中的算法质量确实很差 :) 它既慢又不准确.

【讨论】:

以上是关于如何优化多图像拼接?的主要内容,如果未能解决你的问题,请参考以下文章

图像配准使用OpenCV进行多图配准拼接

图像配准使用OpenCV进行多图配准拼接

图像配准使用OpenCV进行多图配准拼接

opencv 如何计算两张图像重叠的区域并计算出重叠度?

opencv掩模图像是啥意思

如何将一组图像拼接成 MxN 图像拼贴