双目视觉 SGBM算法应用（Python版）

Posted 2023-04-06 落叶随峰

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了双目视觉 SGBM算法应用（Python版）相关的知识，希望对你有一定的参考价值。

文章目录

流程图

相机标定

参考链接：【开源 |教程 | 双目测距】双目相机的标定_哔哩哔哩_bilibili

自制的标定数据集，必须用自己相机拍摄照片制作数据集

标定板下载：pattern.png (1830×1330) (opencv.org)

import cv2
import numpy as np

# -----------------------------------双目相机的基本参数---------------------------------------------------------
#   left_camera_matrix          左相机的内参矩阵
#   right_camera_matrix         右相机的内参矩阵
#
#   left_distortion             左相机的畸变系数    格式(K1,K2,P1,P2,0)
#   right_distortion            右相机的畸变系数
# -------------------------------------------------------------------------------------------------------------
# 左镜头的内参，如焦距
left_camera_matrix = np.array([[516.5066236,-1.444673028,320.2950423],[0,516.5816117,270.7881873],[0.,0.,1.]])
right_camera_matrix = np.array([[511.8428182,1.295112628,317.310253],[0,513.0748795,269.5885026],[0.,0.,1.]])

# 畸变系数,K1、K2、K3为径向畸变,P1、P2为切向畸变
left_distortion = np.array([[-0.046645194,0.077595167, 0.012476819,-0.000711358,0]])
right_distortion = np.array([[-0.061588946,0.122384376,0.011081232,-0.000750439,0]])

# 旋转矩阵
R = np.array([[0.999911333,-0.004351508,0.012585312],
              [0.004184066,0.999902792,0.013300386],
              [-0.012641965,-0.013246549,0.999832341]])
# 平移矩阵
T = np.array([-120.3559901,-0.188953775,-0.662073075])
size = (640, 480)

R1, R2, P1, P2, Q, validPixROI1, validPixROI2 = cv2.stereoRectify(left_camera_matrix, left_distortion,
                                                                  right_camera_matrix, right_distortion, size, R,
                                                                  T)

# 校正查找映射表,将原始图像和校正后的图像上的点一一对应起来
left_map1, left_map2 = cv2.initUndistortRectifyMap(left_camera_matrix, left_distortion, R1, P1, size, cv2.CV_16SC2)
right_map1, right_map2 = cv2.initUndistortRectifyMap(right_camera_matrix, right_distortion, R2, P2, size, cv2.CV_16SC2)
print(Q)

cv2.stereoRectify（）函数

示例：R1, R2, P1, P2, Q, validPixROI1, validPixROI2 = cv2.stereoRectify(left_camera_matrix, left_distortion,right_camera_matrix, right_distortion, size, R, T)
作用：为每个摄像头计算立体校正的映射矩阵R1, R2, P1, P2
参数：
left_camera_matrix：左相机内参
left_distortion：左相机畸变系数
right_camera_matrix：右相机内参
right_distortion：右相机畸变系数
size：单边相机的图片分辨率
R：旋转矩阵
T：平移矩阵

返回值：
R1, R2：R1-输出矩阵，第一个摄像机的校正变换矩阵（旋转变换）；R2-输出矩阵，第二个摄像机的校正变换矩阵（旋转变换）
P1, P2：P1-输出矩阵，第一个摄像机在新坐标系下的投影矩阵；P2-输出矩阵，第二个摄像机在新坐标系下的投影矩阵

立体匹配

import numpy as np
import cv2
import random
import math

# 加载视频文件
capture = cv2.VideoCapture("./car.avi")
WIN_NAME = 'Deep disp'
cv2.namedWindow(WIN_NAME, cv2.WINDOW_AUTOSIZE)

# 读取视频
fps = 0.0
ret, frame = capture.read()
while ret:
    # 开始计时
    t1 = time.time()
    # 是否读取到了帧，读取到了则为True
    ret, frame = capture.read()
    # 切割为左右两张图片
    frame1 = frame[0:480, 0:640]
    frame2 = frame[0:480, 640:1280]
    # 将BGR格式转换成灰度图片，用于畸变矫正
    imgL = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
    imgR = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)

    # 重映射，就是把一幅图像中某位置的像素放置到另一个图片指定位置的过程。
    # 依据MATLAB测量数据重建无畸变图片,输入图片要求为灰度图
    img1_rectified = cv2.remap(imgL, left_map1, left_map2, cv2.INTER_LINEAR)
    img2_rectified = cv2.remap(imgR, right_map1, right_map2, cv2.INTER_LINEAR)

    # 转换为opencv的BGR格式
    imageL = cv2.cvtColor(img1_rectified, cv2.COLOR_GRAY2BGR)
    imageR = cv2.cvtColor(img2_rectified, cv2.COLOR_GRAY2BGR)

    # ------------------------------------SGBM算法----------------------------------------------------------
    #   blockSize                   深度图成块，blocksize越低，其深度图就越零碎，0<blockSize<10
    #   img_channels                BGR图像的颜色通道，img_channels=3，不可更改
    #   numDisparities              SGBM感知的范围，越大生成的精度越好，速度越慢，需要被16整除，如numDisparities
    #                               取16、32、48、64等
    #   mode                        sgbm算法选择模式，以速度由快到慢为：STEREO_SGBM_MODE_SGBM_3WAY、
    #                               STEREO_SGBM_MODE_HH4、STEREO_SGBM_MODE_SGBM、STEREO_SGBM_MODE_HH。精度反之
    # ------------------------------------------------------------------------------------------------------
    blockSize = 8
    img_channels = 3
    stereo = cv2.StereoSGBM_create(minDisparity=1,
                                   numDisparities=64,
                                   blockSize=blockSize,
                                   P1=8 * img_channels * blockSize * blockSize,
                                   P2=32 * img_channels * blockSize * blockSize,
                                   disp12MaxDiff=-1,
                                   preFilterCap=1,
                                   uniquenessRatio=10,
                                   speckleWindowSize=100,
                                   speckleRange=100,
                                   mode=cv2.STEREO_SGBM_MODE_HH)
    # 计算视差
    disparity = stereo.compute(img1_rectified, img2_rectified)

    # 归一化函数算法，生成深度图（灰度图）
    disp = cv2.normalize(disparity, disparity, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U)

    # 生成深度图（颜色图）
    dis_color = disparity
    dis_color = cv2.normalize(dis_color, None, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U)
    dis_color = cv2.applyColorMap(dis_color, 2)

    # 计算三维坐标数据值
    threeD = cv2.reprojectImageTo3D(disparity, Q, handleMissingValues=True)
    # 计算出的threeD，需要乘以16，才等于现实中的距离
    threeD = threeD * 16

    # 鼠标回调事件
    cv2.setMouseCallback("depth", onmouse_pick_points, threeD)

    #完成计时，计算帧率
    fps = (fps + (1. / (time.time() - t1))) / 2
    frame = cv2.putText(frame, "fps= %.2f" % (fps), (0, 40), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)

    cv2.imshow("depth", dis_color)
    cv2.imshow("left", frame1)
    cv2.imshow(WIN_NAME, disp)  # 显示深度图的双目画面
    # 若键盘按下q则退出播放
    if cv2.waitKey(20) & 0xff == ord('q'):
        break

# 释放资源
capture.release()

# 关闭所有窗口
cv2.destroyAllWindows()

img1_rectified = cv2.remap(imgL, left_map1, left_map2, cv2.INTER_LINEAR)：重映射，即把一幅图像内的像素点放置到另外一幅图像内的指定位置，俗称“拼接”

我们可以通过cv.remap()函数来将img2映射到img1对应位置上并合成
cv2.StereoSGBM_create()函数为opencv集成的算法；我们只需关注blockSize。使用方法为：

其中，调小numDisparities会降低精度，但提高速度。注意：numDisparities需能被16整除

mode可以设置为STEREO_SGBM_MODE_SGBM_3WAY ,STEREO_SGBM_MODE_HH, STEREO_SGBM_MODE_SGBM, STEREO_SGBM_MODE_HH4四种模式，它们的精度和速度呈反比，可根据情况来选择不同的模式.STEREO_SGBM_MODE_HH4的速度最快，STEREO_SGBM_MODE_HH的精度最好

效果

1.原图像

2.深度图

3.代码链接

https://github.com/yzfzzz/Stereo-Detection

基于python的opencv中SGBM立体匹配算法实现

前言

SGBM的核心是SGM算法，自OpenCV2.4.6开始就已经被开源，非常的方便，并被广泛使用。

一、SGBM和SGM的区别？

参考大佬的文章：立体匹配算法推理笔记 - SGBM算法（一）
【算法】OpenCV-SGBM算法及源码的简明分析
原始的SGM算法流程如下：

SGBM的算法流程如下：

对比之后可以发现，SGBM和SGM区别的地方在于匹配代价的计算：SGBM采用的是SAD-BT，而SGM采用的是MI。

1.预处理

SGBM采用水平Sobel算子进行图像预处理，公式为

将x-sobel算子的结果做一个映射[0,preFilterCap*2]，preFilterCap 为一个常数参数。

2.代价计算

代价有两部分组成：
1、经过预处理得到的图像的梯度信息
2、经过基于采样的方法得到的梯度代价。
3、原图像经过基于采样的方法得到的SAD代价，因为BT代价是一维匹配，所以通常要结合SAD的思路，采用邻域求和的方法，计算SAD-BT，这样计算出来的代价就是局部块代价，每个像素点的匹配代价会包含周围局部区域的信息。

3.动态规划

动态规划算法本身存在拖尾效应，视差突变处易产生错误的匹配，利用态规划进行一维能量累积累，会将错误的视差信息传播给后面的路径上。半全局算法利用多个方向上的信息，试图消除错误信息的干扰，能明显减弱动态规划算法产生的拖尾效应。
半全局算法试图通过影像上多个方向上一维路径的约束，来建立一个全局的马尔科夫能量方程，每个像素最终的匹配代价是所有路径信息的叠加，每个像素的视差选择都只是简单通过 WTA（Winner Takes All）决定的。

其中动态规划很重要两个参数P1，P2是这样设定的：
P1 =8cnsgbm.SADWindowSizesgbm.SADWindowSize;
P2 = 32cnsgbm.SADWindowSizesgbm.SADWindowSize;
cn是图像的通道数, SADWindowSize是SAD窗口大小，数值为奇数。

4.后处理

opencvSGBM的后处理包含以下几个步骤：
唯一性检测
亚像素插值
左右一致性检测
连通区域的检测

二、SGBM的python-opencv的实现

使用python-opencv的结果如下，已经写好，大家直接下载就好了。
基于python-opencv实现SGBM

此外，还增加了wls滤波，增加图形连接效果。

直接修改图片位置即可运行，如下：

使用wls滤波：设置use_wls = True即可，
为了方便使用，增加了SGBM_slider.py,直接替换图片文件即可，方便大家观察参数效果，直接下载运行即可，运行结果如下：
基于python-opencv实现SGBM，带有滑动窗口

SGBM 参数选择

参考文章

参考几位大佬的文章，非常不错！
opencv中的SGBM原理+参数解释
 【算法】OpenCV-SGBM算法及源码的简明分析
 双目立体匹配算法SGBM
Python SGBM

以上是关于双目视觉 SGBM算法应用（Python版）的主要内容，如果未能解决你的问题，请参考以下文章