双目视觉探索路6整体代码结构分析与作业完成(未完待续)

Posted Guerrouj

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了双目视觉探索路6整体代码结构分析与作业完成(未完待续)相关的知识,希望对你有一定的参考价值。

上一节的程序实现了立体视觉实现过程的所有步骤,现在对整体框架进行分析学习

书中框架结构介绍

书:Learning OpenCV3

第一步:读取左右图像对

目的:寻找亚像素精度的circles

方法:调用stereoCalibrate()标定

需求:相机矩阵_M以及畸变矢量_D

输出:_R,_T,_E,_F


第二步:评估精度

方式:图像上的点距离另一张图像上的极线到底有多远。

调用函数 undistortPoints()以及computeCorrespondEpilines()


第三步:计算校正图像

方式

Hartley-> cv::stereoRectifyUncalibrated()

如果使用这一步,代码还需要计算基础矩阵或者直接调用立体标定得到的基础矩阵

然后调用cv::remap()计算校正图像。

本实例中通过划线,表明了校正图像之间的联系。


Bouguet->stereoRectify()


第四步:计算视差图

这一部分通过StereoSGBM()寻找标定/非标定的校正立体图像对的视差图。

例子中给了水平放置以及垂直放置相机的校正实例。

但是垂直放置只能通过非标定校正算法,除非你通过代码对图像进行了转换




StereoCalib开放接口

接口参数表

static void StereoCalib(const char *imageList, int nx, int ny,
	bool useUncalibrated)

在主程序中,使用了StereoCalib函数,使用形式为

	StereoCalib(board_list, board_w, board_h, true);

其中board_list为包含了标定板名称的txt文件;board_w,board_h为棋盘格的方格数目,最后一个参数为校正的形式(使用标定校正(Bouguet's algorithm)还是非标定校正(Hartely's algorithm))

StereoCalib内部分析

工作流程

程序的流程为双目立体视觉成像的流程:

单目标定(获取内外参)->双目标定(相机之间的转换矩阵)->校正(输出行对准图像)->立体匹配(输出深度图)

立体校正的两种方法

前面几篇文章只是泛泛的提了一下立体校正,本文由于是进一步深入的应用,将对涉及的两种校正方法:Bouguet算法以及Hartely算法进行原理上的梳理。

资料来源:

Learning OpenCV3

Hartely算法(Hartley's algorithm)

本文研究的主程序对useUncalibrate赋值为true,进入程序中则自动选择非标定校正算法;这里采用的非标定校正算法就是Hartley算法。

Hartley算法通过将极点匹配到无穷远的方法寻找单应性,可以减少两立体图像之间的视差。这种方法绕过了计算相机的内参,从而不用进行点的匹配,因此算法复杂度较低。基础矩阵可由stereoCalibrate()获得。

优点:通过简单的观察场景中的点,可以实现在线立体标定(online stereo calibrate)

缺点:由于避开了图像的内参调用;我们无法了解图像的尺度因子,比如棋盘格到底是距离我们100cm还是100m。

函数


Bouguet算法(Bouguet's algorithm)

Bouguet算法就是标定算法,其输入参数为两相机之间的R/T矩阵。立体矫正在Bouguet算法的实现原理是:在最大化公共视场区域的同时,最小化重投影畸变。


由于目前我的数学基础还不扎实,以及目前这部分是为了用;这两种算法的原理在后续继续深入研究时将进行补充

函数

本文调用函数汇总

stereoCalibrate

本函数实现立体标定,输出R、T、E、F矩阵

stereoRectifyUncalibrated

本函数实现Hartley's algorithm进行立体校正标定

initUndistortRectifyMap

该函数的目的为获取校正图像,需求流程如下:

上述图像为立体矫正的过程。立体校正的流程为:原始图像a经过去畸变得到b,b再经过校正获得行对准图像c,c再经过裁剪获得最终图像d.

校正计算的过程则为c->a的过程。

在获得了立体标定项后,通过调用initUndistortRectifyMao能够预先计算从相机角度的左右查找图。对于任何图像-图像的匹配函数,前向匹配(由原图像计算到目标图像)会由于浮点的影响使信息丢失,从而使得目标图像更像一块奶酪。

在立体校正的过程中,我们将调用这个函数两次(分别对应于左右相机)

函数原型

remap

remap是一个基础的重映射函数,相关内容可以参考 OpenCV中的重映射:remap()函数

原型为

void remap(InputArray src, OutputArray dst, InputArray map1, InputArray map2,
                    int interpolation, intborderMode = BORDER_CONSTANT,
                    const Scalar& borderValue = Scalar())

前两个参为输入输出矩阵;map1与map2可为映射矩阵模式,也可为图像色彩格式;第五个参数为插值方式;第六个参数为边界模式;第七个参数为边界颜色,默认Scalar()黑色。

具体例子不再拓展


StereoSGBM

函数上一节讲过,虽然用的比较笨,后续将进行继续修炼



数据流

该部分目的是在梳理重建的过程中回归到作业中来。

作业


需了解及完成步骤

1,如何利用立体校正的方法获取前向平行图像?

2,如何用SGBM的方法获取视差图?

分步解决

早上键盘alt被默认锁定了,半天没打开,后面通过连按两次alt解除了锁定。废话不多说,直接进入正文

控制台窗口显示图像:

首先输出序列标定图像得到相应的内外参,然后running stereo calibration获得内外参后,获得重投影误差avg err,最后是校正与视差图获取。

调用函数第一项:stereoCalibrate

这部分调用的函数使用方法为

	stereoCalibrate(
		objectPoints, points[0], points[1], M1, D1, M2, D2, imageSize, R, T, E, F,
		TermCriteria(TermCriteria::COUNT | TermCriteria::EPS, 100, 1e-5),
		CALIB_FIX_ASPECT_RATIO | CALIB_ZERO_TANGENT_DIST |
		CALIB_SAME_FOCAL_LENGTH
	);

也就是为下面的校正与匹配提供了R,T,E,F四个矩阵


传递给第二项stereoRectify


回忆前文

Hartley-> cv::stereoRectifyUncalibrated()

如果使用这一步,代码还需要计算基础矩阵或者直接调用立体标定得到的基础矩阵

然后调用cv::remap()计算校正图像。

本实例中通过划线,表明了校正图像之间的联系。

实现

三个点:

1,基础矩阵

2,remap()计算校正图像

3,图像划线

coding

		vector<cv::Point2f> allpoints[2];
		for (i = 0; i < nframes; i++) 
			copy(points[0][i].begin(), points[0][i].end(),
				back_inserter(allpoints[0]));
			copy(points[1][i].begin(), points[1][i].end(),
				back_inserter(allpoints[1]));
		
		cv::Mat F = findFundamentalMat(allpoints[0], allpoints[1], cv::FM_8POINT);
		cv::Mat H1, H2;
		cv::stereoRectifyUncalibrated(allpoints[0], allpoints[1], F, imageSize,
			H1, H2, 3);
		R1 = M1.inv() * H1 * M1;
		R2 = M2.inv() * H2 * M2;

		// Precompute map for cvRemap()
		//
		cv::initUndistortRectifyMap(M1, D1, R1, P1, imageSize, CV_16SC2, map11,
			map12);
		cv::initUndistortRectifyMap(M2, D2, R2, P2, imageSize, CV_16SC2, map21,
			map22);
		// RECTIFY THE IMAGES AND FIND DISPARITY MAPS
		//
		cv::Mat pair;
		if (!isVerticalStereo)
			pair.create(imageSize.height, imageSize.width * 2, CV_8UC3);
		else
			pair.create(imageSize.height * 2, imageSize.width, CV_8UC3);

下一步:继续拆分程序进行解读

首先应当删除一些不需要的程序,然后进行分段test!梳理好思路,结合书上


12.27任务:

完成一对图像的校正与DepthMap生成的过程


分析代码段

// CALIBRATE THE STEREO CAMERAS
	Mat M1 = Mat::eye(3, 3, CV_64F);
	Mat M2 = Mat::eye(3, 3, CV_64F);
	Mat D1, D2, R, T, E, F;
	cout << "\\nRunning stereo calibration ...\\n";
	stereoCalibrate(
		objectPoints, points[0], points[1], M1, D1, M2, D2, imageSize, R, T, E, F,
		TermCriteria(TermCriteria::COUNT | TermCriteria::EPS, 100, 1e-5),
		CALIB_FIX_ASPECT_RATIO | CALIB_ZERO_TANGENT_DIST |
		CALIB_SAME_FOCAL_LENGTH
	);
	//参数对应 
	//输入:objectPoints, imagePoints 1,2 双相机矩阵M1,D1 M2,D2 imageSize
	//输出 R T E F
	int nframes = (int)objectPoints.size();


	// COMPUTE AND DISPLAY RECTIFICATION
	//
	if (showUndistorted) 
		cv::Mat R1, R2, P1, P2, map11, map12, map21, map22;

		//Hartley's Uncalibrated

		vector<cv::Point2f> allpoints[2];
		for (i = 0; i < nframes; i++) 
			copy(points[0][i].begin(), points[0][i].end(),
				back_inserter(allpoints[0]));
			copy(points[1][i].begin(), points[1][i].end(),
				back_inserter(allpoints[1]));
		
		cv::Mat F = findFundamentalMat(allpoints[0], allpoints[1], cv::FM_8POINT);
		cv::Mat H1, H2;
		cv::stereoRectifyUncalibrated(allpoints[0], allpoints[1], F, imageSize,
			H1, H2, 3);
		R1 = M1.inv() * H1 * M1;//inv()求逆
		R2 = M2.inv() * H2 * M2;

		// Precompute map for cvRemap()
		//
		cv::initUndistortRectifyMap(M1, D1, R1, P1, imageSize, CV_16SC2, map11,
			map12);//相机内参矩阵,即便系数矩阵,一二相机之间的旋转矩阵,输入的矫正后的相机矩阵,无失真矩阵
		cv::initUndistortRectifyMap(M2, D2, R2, P2, imageSize, CV_16SC2, map21,
			map22);
		// RECTIFY THE IMAGES AND FIND DISPARITY MAPS
		//
		cv::Mat pair;
		if (!isVerticalStereo)
			pair.create(imageSize.height, imageSize.width * 2, CV_8UC3);
		else
			pair.create(imageSize.height * 2, imageSize.width, CV_8UC3);


		// Setup for finding stereo correspondences
		//
		StereoSGBM sgbm;
		int SADWindowSize = 9;
		//预处理sobel,获得图像梯度信息,用于计算代价
		sgbm.preFilterCap = 63;
		//代价参数,得到SAD代价
		int numberOfDisparities = 64;
		sgbm.SADWindowSize = SADWindowSize > 0 ? SADWindowSize : 3;
		sgbm.minDisparity = 0;
		sgbm.numberOfDisparities = numberOfDisparities;
		//动态规划参数,默认四条路径
		IplImage *img1 = cvLoadImage("left01.jpg", 0);
		int cn = img1->nChannels;
		sgbm.P1 = 8 * cn*sgbm.SADWindowSize*sgbm.SADWindowSize;
		sgbm.P2 = 32 * cn*sgbm.SADWindowSize*sgbm.SADWindowSize;
		//后处理参数,唯一性检测、亚像素插值、左右一致性检测、连通区域检测
		sgbm.uniquenessRatio = 10;
		sgbm.speckleWindowSize = 100;
		sgbm.speckleRange = 32;
		sgbm.disp12MaxDiff = 1;

		Mat disp, disp8;
		for (i = 0; i < nframes; i++) 
			Mat img1 = imread(imageNames[0][i].c_str(), 0);
			Mat img2 = imread(imageNames[1][i].c_str(), 0);
			Mat img1r, img2r, disp, vdisp;
			if (img1.empty() || img2.empty())
				continue;
			remap(img1, img1r, map11, map12, cv::INTER_LINEAR);
			remap(img2, img2r, map21, map22, cv::INTER_LINEAR);
			if (!isVerticalStereo) 

				sgbm(img1r, img2r, disp);
				cv::normalize(disp, vdisp, 0, 256, cv::NORM_MINMAX, CV_8U);
				imshow("disparity", vdisp);
			

			if (!isVerticalStereo) 
				cv::Mat part = pair.colRange(0, imageSize.width);
				cvtColor(img1r, part, cv::COLOR_GRAY2BGR);
				part = pair.colRange(imageSize.width, imageSize.width * 2);
				cvtColor(img2r, part, cv::COLOR_GRAY2BGR);
				for (j = 0; j < imageSize.height; j += 16)
					cv::line(pair, cv::Point(0, j), cv::Point(imageSize.width * 2, j),
						cv::Scalar(0, 255, 0));
			
			else 
				cv::Mat part = pair.rowRange(0, imageSize.height);
				cv::cvtColor(img1r, part, cv::COLOR_GRAY2BGR);
				part = pair.rowRange(imageSize.height, imageSize.height * 2);
				cv::cvtColor(img2r, part, cv::COLOR_GRAY2BGR);
				for (j = 0; j < imageSize.width; j += 16)
					line(pair, cv::Point(j, 0), cv::Point(j, imageSize.height * 2),
						cv::Scalar(0, 255, 0));
			
			cv::imshow("rectified", pair);
			if ((cv::waitKey() & 255) == 27)
				break;
		

	

函数总结如下,依次调用了下面三个函数:stereoRectifyUncalibrated, initUndistortRectifyMap和StereoSGBM

上面程序的核心在于

	Mat disp, disp8;
	for (i = 0; i < nframes; i++) 
		Mat img1 = imread(imageNames[0][i].c_str(), 0);
		Mat img2 = imread(imageNames[1][i].c_str(), 0);
		Mat img1r, img2r, disp, vdisp;
		if (img1.empty() || img2.empty())
			continue;
		remap(img1, img1r, map11, map12, cv::INTER_LINEAR);
		remap(img2, img2r, map21, map22, cv::INTER_LINEAR);
		if (!isVerticalStereo) 

			sgbm(img1r, img2r, disp);
			cv::normalize(disp, vdisp, 0, 256, cv::NORM_MINMAX, CV_8U);
			imshow("disparity", vdisp);
		

		if (!isVerticalStereo) 
			cv::Mat part = pair.colRange(0, imageSize.width);
			cvtColor(img1r, part, cv::COLOR_GRAY2BGR);
			part = pair.colRange(imageSize.width, imageSize.width * 2);
			cvtColor(img2r, part, cv::COLOR_GRAY2BGR);
			for (j = 0; j < imageSize.height; j += 16)
				cv::line(pair, cv::Point(0, j), cv::Point(imageSize.width * 2, j),
					cv::Scalar(0, 255, 0));
		
		else 
			cv::Mat part = pair.rowRange(0, imageSize.height);
			cv::cvtColor(img1r, part, cv::COLOR_GRAY2BGR);
			part = pair.rowRange(imageSize.height, imageSize.height * 2);
			cv::cvtColor(img2r, part, cv::COLOR_GRAY2BGR);
			for (j = 0; j < imageSize.width; j += 16)
				line(pair, cv::Point(j, 0), cv::Point(j, imageSize.height * 2),
					cv::Scalar(0, 255, 0));
		
		cv::imshow("rectified", pair);
		if ((cv::waitKey() & 255) == 27)
			break;
	

最终能够获取视差图的核心语句为:

		Mat img1 = imread("left01.jpg");
		Mat img2 = imread("right01.jpg");
		Mat img1r, img2r, disp1, vdisp;
		remap(img1, img1r, map11, map12, cv::INTER_LINEAR);
		remap(img2, img2r, map21, map22, cv::INTER_LINEAR);

			sgbm(img1r, img2r, disp1);
			cv::normalize(disp1, vdisp, 0, 256, cv::NORM_MINMAX, CV_8U);
			imshow("disparity", vdisp);
			waitKey(100000);

其中normalize的作用为归一化,相当于matlab中的imshow(disp,[]);

继续向上走,可以整理得到这一段程序

由程序可知,map11\\2和map21\\2可通过initUndistortRectifyMap获得

于是本步骤目的为,如何获取map矩阵

获得map矩阵的需求为M,D,R,P一共八个矩阵,为了更好地了解下作业怎么做,我们输出一下相关调用参数:

相机1

相机2

看看我们作业中有什么内容


作业中给出了旋转向量,而上述程序需要旋转矩阵,因此第一步为

向量到矩阵的转换

罗德里格斯变换

直接调用函数即可进行输出

	Mat Rvl = (Mat_<double>(1,3)<< 0.04345, -0.05236, -0.01810);
	Mat RvTl;
	cout << "Rvl=Rvr= " << endl << " " << Rvl << endl<<endl;
	Rodrigues(Rvl, RvTl);


经过一段时间的摸索,能够输出视差图,剩下部分: 1,视差图转化为距离图 2,输出相应的点云数据

3,显示极线校正结果

4,用opencv3表示sgbm的内容

视差图转化为距离图

在实施的过程中发现需要调用重投影矩阵Q,而重投影矩阵Q似乎只能由校正算法(Bouguet's algorithm)获得

现在我们来学学Bouguet's algorithm

Bouguet's algorithm立体校正的原则为最大化视场的重叠区域以及最小化重投影步骤

为了最小化重投影畸变,旋转矩阵分为两半(左旋转矩阵和右旋转矩阵)

下一步,分析矩阵构成,输出Q矩阵






明日继续补充



以上是关于双目视觉探索路6整体代码结构分析与作业完成(未完待续)的主要内容,如果未能解决你的问题,请参考以下文章

结对作业——电梯调度算法的实现与测试之需求分析与算法设计(未完待续)

技术流派双目立体视觉系统空间精度:精确定量分析

技术流派双目立体视觉系统空间精度:精确定量分析

数组黑科技(偏性能方面)未完待更新...

基于FPGA的双目相机目标深度图像提取实现——简略版

CentOS6最小化安装所需的常用软件(未完待更新)