摄像机标定--矫正畸变

Posted wwwbdabc

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了摄像机标定--矫正畸变相关的知识,希望对你有一定的参考价值。

之前做过摄像机标定的研究,不过现在忘了好多,昨天下午又捡起来,好好复习一下(主要是学习opencv一书内容)。

摄像机标定基本知识:

摄像机标定误差包括内参(4个)、畸变参数(径向和切向共5个)、外参(平移和旋转共6个)。

误差参数分析:摄像机模型采用针孔模型成像模型,由于中心轴安装问题,这就造成了精度误差,就是所谓的相机内参数误差,使用一个3X3的矩阵表示(A) [fx 0 cx; 0 fy cy; 0 0 1].,有四个未知参数;另由于针孔成像采光效率不高,使用了透镜,这就造成的畸变误差:

径向畸变:这是由于透镜先天条件原因(透镜形状),成像仪中心(光学中心)的畸变为0,随着向边缘移动,畸变越厉害。这里有3个参数,k1,k2,k3其中k3是可选参数。

切向畸变:这是摄像机安装过程造成的,如当透镜不完全平行于图像平面的时候产生的。

旋转和平移主要针对外参数,旋转3个角度和平移3个方向6个参数。

棋盘就不介绍了。主要是提取角点,便于后面计算,opencv函数都有函数。书上p423有原理介绍,感兴趣的朋友可以参考书上内容。

opencv实现过程及主要函数介绍:

1.首先获得数据源(视频或图像),我读取的一段自己录的视频;

2.初始化单帧棋盘数据,如6X4,并对棋盘操作提取角点;

用到的函数说明: 

CVAPI(int) cvFindChessboardCorners( const void* image, CvSize pattern_size,
                                    CvPoint2D32f* corners,
                                    int* corner_count CV_DEFAULT(NULL),
                                    int flags CV_DEFAULT(CV_CALIB_CB_ADAPTIVE_THRESH+CV_CALIB_CB_NORMALIZE_IMAGE) );

这个函数式找到内角点位置:

  • image

  • 输入的棋盘图,必须是8位的灰度或者彩色图像。

  • pattern_size

  • 棋盘图中每行和每列角点的个数。

  • corners

  • 检测到的角点

  • corner_count

  • 输出,角点的个数。如果不是NULL,函数将检测到的角点的个数存储于此变量。

  • flags

  • 各种操作标志,可以是0或者下面值的组合:

    • CV_CALIB_CB_ADAPTIVE_THRESH - 使用自适应阈值(通过平均图像亮度计算得到)将图像转换为黑白图,而不是一个固定的阈值。

    • CV_CALIB_CB_NORMALIZE_IMAGE - 在利用固定阈值或者自适应的阈值进行二值化之前,先使用cvNormalizeHist来均衡化图像亮度。

    • CV_CALIB_CB_FILTER_QUADS - 使用其他的准则(如轮廓面积,周长,方形形状)来去除在轮廓检测阶段检测到的错误方块。

void cvFindCornerSubPix(const CvArr* image,CvPoint2D32f* corners,int count,CvSize win,CvSize zero_zone,CvTermCriteria criteria)
函数 cvFindCornerSubPix 通过迭代来发现具有子象素精度的角点位置:

image

输入的图像,必须是8位的灰度或者彩色图像。

corners

输入角点的初始坐标,也存储精确的输出坐标。

count

角点数目

win

搜索窗口的一半尺寸。如果win=(5,5)那么使用(5*2+1)×(5*2+1)=11×11大小的搜索窗口

zero_zone

死区的一半尺寸,死区为不对搜索区的中央位置做求和运算的区域。它是用来避免自相关矩阵出现的某些可能的奇异性。当值为(-1,-1)表示没有死区。

criteria

求角点的迭代过程的终止条件。即角点位置的确定,要么迭代数大于某个设定值,或者是精确懂达到某个设定值。criteria可以是最大迭代数目,或者是设定的精确度,也可以是它们的组合。

3.摄像机标定求参数,我们目前求内参和畸变参数进行图像校正;

用到的函数说明:
void cvCalibrateCamera2( const CvMat* object_points, const CvMat* image_points, const CvMat*point_counts, CvSize image_size, CvMat* intrinsic_matrix, CvMat* distortion_coeffs, CvMat* rotation_vectors=NULL, CvMat* translation_vectors=NULL, int flags=0 );

标定函数,求摄像机内参和外参数:

  • object_points

  • 定标点的世界坐标,为3xN或者Nx3的矩阵,这里N是所有视图中点的总数。

  • image_points

  • 定标点的图像坐标,为2xN或者Nx2的矩阵,这里N是所有视图中点的总数。

  • point_counts

  • 向量,指定不同视图里点的数目,1xM或者Mx1向量,M是视图数目。

  • image_size

  • 图像大小,只用在初始化内参数时。

  • intrinsic_matrix

  • 输出内参矩阵(A),如果指定CV_CALIB_USE_INTRINSIC_GUESS和(或)CV_CALIB_FIX_ASPECT_RATION,fx、 fy、 cx和cy部分或者全部必须被初始化。

  • distortion_coeffs

  • 输出大小为4x1或者1x4的向量,里面为形变参数[k1, k2, p1, p2]。

  • rotation_vectors

  • 输出大小为3xM或者Mx3的矩阵,里面为旋转向量(旋转矩阵的紧凑表示方式,具体参考函数cvRodrigues2)

  • translation_vectors

  • 输出大小为3xM或Mx3的矩阵,里面为平移向量。

  • flags

  • 不同的标志,可以是0,或者下面值的组合:

    • CV_CALIB_USE_INTRINSIC_GUESS - 内参数矩阵包含fx,fy,cx和cy的初始值。否则,(cx, cy)被初始化到图像中心(这儿用到图像大小),焦距用最小平方差方式计算得到。注意,如果内部参数已知,没有必要使用这个函数,使用cvFindExtrinsicCameraParams2则可。

    • CV_CALIB_FIX_PRINCIPAL_POINT - 主点在全局优化过程中不变,一直在中心位置或者在其他指定的位置(当CV_CALIB_USE_INTRINSIC_GUESS设置的时候)。

    • CV_CALIB_FIX_ASPECT_RATIO - 优化过程中认为fx和fy中只有一个独立变量,保持比例fx/fy不变,fx/fy的值跟内参数矩阵初始化时的值一样。在这种情况下, (fx, fy)的实际初始值或者从输入内存矩阵中读取(当CV_CALIB_USE_INTRINSIC_GUESS被指定时),或者采用估计值(后者情况中fx和fy可能被设置为任意值,只有比值被使用)。

    • CV_CALIB_ZERO_TANGENT_DIST – 切向形变参数(p1, p2)被设置为0,其值在优化过程中保持为0。

4.矫正,利用上步求得的参数对图像进行矫正。

用到的函数说明,有两种方法进行矫正,下面都介绍一下:

a.使用cvInitUndistortMap()和cvRemap()来处理,前者用来计算畸变映射,后者把求得的映射应用到图像。

void cvInitUndistortMap( const CvMat* intrinsic_matrix, const CvMat* distortion_coeffs, CvArr* mapx, CvArr* mapy );
这个函数计算畸变映射,其中intrinsic_matrix摄像机内参数矩阵(A) [fx 0 cx; 0 fy cy; 0 0 1].distortion_coeffs形变系数向量[k1, k2, p1, p2,k3],大小为5x1或者1x5。mapx为x坐标的对应矩阵。mapy为y坐标的对应矩阵。
void cvRemap( const CvArr* src, CvArr* dst,const CvArr* mapx, const CvArr* mapy,int flags=CV_INTER_LINEAR+CV_WARP_FILL_OUTLIERS,CvScalar fillval=cvScalarAll(0) );

对图像进行普通几何变换,求得矫正图像:

     src 
     输入图像. 
dst 
输出图像. 
  mapx 
x坐标的映射 (32fC1 image). 
mapy 
y坐标的映射 (32fC1 image). 
flags 
插值方法和以下开关选项的组合: 
  CV_WARP_FILL_OUTLIERS - 填充边界外的像素. 如果输出图像的部分象素落在变换后的边界外,那么它们的值设定为 fillval。

函数cvInitUndistortMap预先计算非形变对应-正确图像的每个像素在形变图像里的坐标。这个对应可以传递给cvRemap函数(跟输入和输出图像一起)。

b.使用cvUndistort2()这个函数一次完成所有事项,不推荐。

CVAPI(void) cvUndistort2( const CvArr* src, CvArr* dst,
  const CvMat* camera_matrix,
  const CvMat* distortion_coeffs,
  const CvMat* new_camera_matrix CV_DEFAULT(0) );

函数说明:

    其中,src为输入图像,dst为输出图像.,camera_matrix摄像机内参数矩阵(A) [fx 0 cx; 0 fy cy; 0 0 1],distortion_coeffs形变系数向量[k1, k2, p1, p2,k3],大小为5x1或者1x5。

建议还是使用第一种算法,因为计算畸变映射是一个耗时的操作,当畸变映射不变的时候,使用第一种效率更高。

本人实验效果如下:

        技术图片
                                               

代码这里就不留了,opencv也有类似的源码,有需要的朋友留下联系方式可以发给你们,共勉!

以上是关于摄像机标定--矫正畸变的主要内容,如果未能解决你的问题,请参考以下文章

8.图像视觉 --鱼眼摄像头标定和图像畸变矫正

如何利用opencv计算图像畸变系数,并进行校正与摄像机标定?

双摄像头立体成像-畸变矫正与立体校正

相机标定之畸变矫正与反畸变计算

opencv相机标定

张正友相机标定Opencv实现以及标定流程&&标定结果评价&&图像矫正流程解析(附标定程序和棋盘图)