图像配准使用OpenCV进行多图配准拼接

Posted zstar-_

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了图像配准使用OpenCV进行多图配准拼接相关的知识,希望对你有一定的参考价值。

本篇主要利用OpenCV自带的配准拼接函数Stitcher_create来实现多幅图像的配准拼接
代码参考自:https://github.com/samggggflynn/image-stitching-opencv

图像拼接创建步骤

通常来说,根据多个图像创建全景图的步骤为以下几步:

  1. 检测两张图像的关键点特征(DoG、Harris等)
  2. 计算不变特征描述符(SIFT、SURF或ORB等)
  3. 根据关键点特征和描述符,对两张图像进行匹配,得到若干匹配点对,并移除错误匹配;
  4. 使用Ransac算法和匹配的特征来估计单应矩阵(homography matrix);
  5. 通过单应矩阵来对图像进行仿射变换;
  6. 两图像拼接,重叠部分融合;
  7. 裁剪以获得美观的最终图像。

OpenCV实践

OpenCV提供了cv2.createStitcher (OpenCV 3.x) 和 cv2.Stitcher_create(OpenCV 4) 这个拼接函数接口,对于其背后的算法,尚未可知(该函数接口是调用其它的C语言进行实现),查阅官方文档,并未找到完全对应上的内容。因此,下文主要偏向于实践。

官方文档链接:https://docs.opencv.org/4.5.3/d2/d8d/classcv_1_1Stitcher.html

下面是示例代码,采用的是OpenCV4.5.3版本,主要内容均已添加注释:

from imutils import paths
import numpy as np
import imutils
import cv2

images = 'images/myimg'  # 输入图片文件夹路径
output = 'myoutput2.png'  # 输出图片名称
crop = True
imagePaths = sorted(list(paths.list_images(images)))
images = []

# 读取文件夹图片
for imagePath in imagePaths:
    image = cv2.imread(imagePath)
    images.append(image)

# 创建缝合器
stitcher = cv2.Stitcher_create()
(status, stitched) = stitcher.stitch(images)

# status:状态,0代表成功
if status == 0:
    # 裁剪图像
    if crop:
        # 在拼图周围添加2像素
        stitched = cv2.copyMakeBorder(stitched, 2, 2, 2, cv2.BORDER_CONSTANT, (0, 0, 0))

        # 对图像进行灰度化和阈值化
        gray = cv2.cvtColor(stitched, cv2.COLOR_BGR2GRAY)
        thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY)[1]

        # 查找阈值图像的轮廓
        cnts = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
                                cv2.CHAIN_APPROX_SIMPLE)
        cnts = imutils.grab_contours(cnts)
        c = max(cnts, key=cv2.contourArea)

        # 在这个轮廓下绘制最大的矩形
        mask = np.zeros(thresh.shape, dtype="uint8")
        (x, y, w, h) = cv2.boundingRect(c)
        cv2.rectangle(mask, (x, y), (x + w, y + h), 255, -1)

        # 创建两个遮罩
        # minRect作为不断腐蚀的矩形
        # sub作为阈值图像和minRect的插值来进行判断
        minRect = mask.copy()
        sub = mask.copy()

        while cv2.countNonZero(sub) > 0:
            minRect = cv2.erode(minRect, None)
            sub = cv2.subtract(minRect, thresh)

        # 得到最小的矩形,提取其范围坐标
        cnts = cv2.findContours(minRect.copy(), cv2.RETR_EXTERNAL,
                                cv2.CHAIN_APPROX_SIMPLE)
        cnts = imutils.grab_contours(cnts)
        c = max(cnts, key=cv2.contourArea)
        (x, y, w, h) = cv2.boundingRect(c)

        # 使用该范围坐标对原图进行裁剪
        stitched = stitched[y:y + h, x:x + w]

    # 保存图片
    cv2.imwrite(output, stitched)

else:
    print("拼接失败,错误码:".format(status))

从上述代码可知,核心拼接方式是stitcher = cv2.Stitcher_create()(status, stitched) = stitcher.stitch(images)两行内容,下面的方式是对拼接完的图像进行裁剪,以便找到其中的最大矩形。

其中,status表示是否拼接成功,主要由四个值:

  • OK=0 :图像拼接成功。
  • ERR_NEED_MORE_IMGS=1 :这表明构建全景图像需要输入更多的输入图像。没有检测到足够关键点时,会发生该错误。
  • ERR_HOMOGRAPHY_SET_FAIL=2:使用RANSAC算法估计单应性矩阵失败。同样地,这表明需要更多的图像或者图像地辨识度不足,不能够提取到独特地关键点以精确匹配。
  • ERR_CAMERA_PARAMS_ADJUST_FAIL = 3: 很少遇见,与相机有关。

crop = True则进行后续裁剪,若crop = False则保留拼接完成的原图。

原仓库给出了三张测试小图如下:

不进行裁剪之后的结果:

裁剪后的结果为下图红框所示部分:

参考

[1]https://github.com/samggggflynn/image-stitching-opencv
[2]你相机里的全景图是如何实现的 https://zhuanlan.zhihu.com/p/83225676
[3]PyImageSearch学习笔记三(使用Opencv拼接全景地图二)https://zhuanlan.zhihu.com/p/504145711

以上是关于图像配准使用OpenCV进行多图配准拼接的主要内容,如果未能解决你的问题,请参考以下文章

图像配准使用OpenCV进行多图配准拼接

图像配准多图配准/不同特征提取算法/匹配器比较测试

图像配准SIFT算法原理及二图配准拼接

图像配准SIFT算法原理及二图配准拼接

图像配准SIFT算法原理及二图配准拼接

3D,点云拼接2