图像配准使用OpenCV进行多图配准拼接

Posted 2023-01-31 zstar-_

本篇主要利用OpenCV自带的配准拼接函数Stitcher_create来实现多幅图像的配准拼接
代码参考自：https://github.com/samggggflynn/image-stitching-opencv

图像拼接创建步骤

通常来说，根据多个图像创建全景图的步骤为以下几步：

1. 检测两张图像的关键点特征（DoG、Harris等）
2. 计算不变特征描述符（SIFT、SURF或ORB等）
3. 根据关键点特征和描述符，对两张图像进行匹配，得到若干匹配点对，并移除错误匹配；
4. 使用Ransac算法和匹配的特征来估计单应矩阵（homography matrix）；
5. 通过单应矩阵来对图像进行仿射变换；
6. 两图像拼接，重叠部分融合；
7. 裁剪以获得美观的最终图像。

OpenCV实践

OpenCV提供了cv2.createStitcher (OpenCV 3.x) 和 cv2.Stitcher_create(OpenCV 4) 这个拼接函数接口，对于其背后的算法，尚未可知(该函数接口是调用其它的C语言进行实现)，查阅官方文档，并未找到完全对应上的内容。因此，下文主要偏向于实践。

官方文档链接：https://docs.opencv.org/4.5.3/d2/d8d/classcv_1_1Stitcher.html

下面是示例代码，采用的是OpenCV4.5.3版本，主要内容均已添加注释：

from imutils import paths
import numpy as np
import imutils
import cv2

images = 'images/myimg'  # 输入图片文件夹路径
output = 'myoutput2.png'  # 输出图片名称
crop = True
imagePaths = sorted(list(paths.list_images(images)))
images = []

# 读取文件夹图片
for imagePath in imagePaths:
    image = cv2.imread(imagePath)
    images.append(image)

# 创建缝合器
stitcher = cv2.Stitcher_create()
(status, stitched) = stitcher.stitch(images)

# status:状态，0代表成功
if status == 0:
    # 裁剪图像
    if crop:
        # 在拼图周围添加2像素
        stitched = cv2.copyMakeBorder(stitched, 2, 2, 2, cv2.BORDER_CONSTANT, (0, 0, 0))

        # 对图像进行灰度化和阈值化
        gray = cv2.cvtColor(stitched, cv2.COLOR_BGR2GRAY)
        thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY)[1]

        # 查找阈值图像的轮廓
        cnts = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
                                cv2.CHAIN_APPROX_SIMPLE)
        cnts = imutils.grab_contours(cnts)
        c = max(cnts, key=cv2.contourArea)

        # 在这个轮廓下绘制最大的矩形
        mask = np.zeros(thresh.shape, dtype="uint8")
        (x, y, w, h) = cv2.boundingRect(c)
        cv2.rectangle(mask, (x, y), (x + w, y + h), 255, -1)

        # 创建两个遮罩
        # minRect作为不断腐蚀的矩形
        # sub作为阈值图像和minRect的插值来进行判断
        minRect = mask.copy()
        sub = mask.copy()

        while cv2.countNonZero(sub) > 0:
            minRect = cv2.erode(minRect, None)
            sub = cv2.subtract(minRect, thresh)

        # 得到最小的矩形，提取其范围坐标
        cnts = cv2.findContours(minRect.copy(), cv2.RETR_EXTERNAL,
                                cv2.CHAIN_APPROX_SIMPLE)
        cnts = imutils.grab_contours(cnts)
        c = max(cnts, key=cv2.contourArea)
        (x, y, w, h) = cv2.boundingRect(c)

        # 使用该范围坐标对原图进行裁剪
        stitched = stitched[y:y + h, x:x + w]

    # 保存图片
    cv2.imwrite(output, stitched)

else:
    print("拼接失败，错误码：".format(status))

从上述代码可知，核心拼接方式是stitcher = cv2.Stitcher_create()和(status, stitched) = stitcher.stitch(images)两行内容，下面的方式是对拼接完的图像进行裁剪，以便找到其中的最大矩形。

其中，status表示是否拼接成功，主要由四个值：

• OK=0 ：图像拼接成功。
• ERR_NEED_MORE_IMGS=1 ：这表明构建全景图像需要输入更多的输入图像。没有检测到足够关键点时，会发生该错误。
• ERR_HOMOGRAPHY_SET_FAIL=2：使用RANSAC算法估计单应性矩阵失败。同样地，这表明需要更多的图像或者图像地辨识度不足，不能够提取到独特地关键点以精确匹配。
• ERR_CAMERA_PARAMS_ADJUST_FAIL = 3： 很少遇见，与相机有关。

若crop = True则进行后续裁剪，若crop = False则保留拼接完成的原图。

原仓库给出了三张测试小图如下：

不进行裁剪之后的结果：

裁剪后的结果为下图红框所示部分：

参考

[1]https://github.com/samggggflynn/image-stitching-opencv
[2]你相机里的全景图是如何实现的 https://zhuanlan.zhihu.com/p/83225676
[3]PyImageSearch学习笔记三（使用Opencv拼接全景地图二）https://zhuanlan.zhihu.com/p/504145711