使用 openCV 进行相机校准 - cv2.getOptimalNewCameraMatrix 导致 roi 为零

Posted 2023-03-16

【中文标题】使用 openCV 进行相机校准 - cv2.getOptimalNewCameraMatrix 导致 roi 为零

【英文标题】：Camera Calibration with openCV - cv2.getOptimalNewCameraMatrix results in zero roi

【发布时间】：2015-06-29 01:57:15

【问题描述】：

这是我在 *** 上的第一篇文章。如果我的英语和编程知识令人不安，请原谅它们。

好吧，我正在尝试在 windows 8.1 操作系统中使用 opencv 2.4.9 进行相机校准（ubuntu 操作系统无法解决问题。）

问题：我正在使用下面的代码来校准我的相机，但似乎如果我的示例图像（带有检查板图案）的数量超过 2，那么 newcameramtx,roi=cv2 的 roi .getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h)) 结果为 [0,0,0,0]。样本数量如何与该结果相关联？ （之前，在对此代码进行一些更改之前，最大样本数为 12）。

我所说的最大样本数是指从我的相机获取的具有棋盘图案的图像，如果数量超过最大数量，则 roi 不会给出好的结果。

角点检测效果很好。你可以找到我的示例图片here。

# -*- coding: utf-8 -*-
"""
Created on Fri May 16 15:23:00 2014

@author: kakarot
"""

import numpy as np
import cv2
#import os
#import time
from matplotlib import pyplot as plt
LeftorRight = 'L'

numer = 12
chx = 6
chy = 9
chd = 25
# termination criteria
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, numer, 0.001)

# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((chy*chx,3), np.float32)
objp[:,:2] = np.mgrid[0:chy,0:chx].T.reshape(-1,2)

# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space, (x25mm)
imgpoints = [] # 2d points in image plane.

enum = 1

while(enum<=numer):
    img=cv2.imread('1280x720p/BestAsPerMatlab/calib_'+str(LeftorRight)+str(enum)+'.jpg')

    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    # Find the chess board corners
    ret, corners = cv2.findChessboardCorners(gray, (chy,chx),None)
    #cv2.imshow('Calibration',img)

    # If found, add object points, image points (after refining them)
    if  ret == True and enum <= numer:

        objpoints.append(objp*chd)


        cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
        imgpoints.append(corners)


        # Draw and display the corners
        cv2.drawChessboardCorners(img, (chy,chx),corners,ret)
        cv2.imshow('Calibration',img)
        cv2.imwrite('1280x720p/Chessboard/calibrated_L0.jpg'.format(enum),img)
        print enum

        #time.sleep(2)
        if enum == numer:
            ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1],None,None)

            img = cv2.imread('1280x720p/BestAsPerMatlab/calib_'+str(LeftorRight)+'7.jpg')
            gray = cv2.cvtColor(img,cv2.COLOR_RGB2GRAY)
            h,  w = img.shape[:2]           #a (1 to see the whole picture)
            newcameramtx, roi=cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))
            if (np.size(roi) == 4 and np.mean(roi) != 0):
                # undistort
                mapx,mapy = cv2.initUndistortRectifyMap(mtx,dist,None,newcameramtx,(w,h),5)
                dst = cv2.remap(img,mapx,mapy,cv2.INTER_LINEAR)

                # crop the image
                x,y,w,h = roi
                dst = dst[y:y+h, x:x+w]
                dst = cv2.cvtColor(dst,cv2.COLOR_RGB2BGR)
                plt.imshow(dst)
                #cv2.imwrite('result.jpg',dst)
                #np.savetxt('mtxL.txt',mtx)
                #np.savetxt('distL.txt',dist)
            else:
                np.disp('Something Went Wrong')
        enum += 1
'''
    k = cv2.waitKey(1) & 0xFF
    if k == 27:
        break
'''
cv2.destroyAllWindows()

编辑：我正在使用两个便宜的 USB 相机。我发现其中一台相机的样本集没问题，我可以毫无问题地使用超过 19 个样本。但是当使用另一台相机的校准样本时，样本图像的最大数量为 2。（如果我制作另一组样本，数量会有所不同）。总之，产生的校准矩阵似乎发生了一些事情。但这很奇怪。

最后我使用鱼眼相机，相信在每次拍摄结束时切割足够的像素我会模拟普通相机......也许这就是给我带来麻烦的原因！

【问题讨论】：

你真的应该为你的问题找到一个更好的标题

你完全正确。我忘记了，谢谢。

您是否设法使其适用于鱼眼相机？在我的情况下，它看起来像在 getOptimalNewCameraMatrix 内部调用的 c++ 代码中的 icvGetRectangles 函数无法处理大型 FOV 相机。它找不到内部和外部矩形。

【参考方案1】：

您应该将 dist 更改为

dist = np.array([-0.13615181, 0.53005398, 0, 0, 0]) # no translation

然后拨打电话

newcameramtx, roi=cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))

它对我有用。

【讨论】：

您使用的是哪款相机 (FOV)？

我正在使用一个简单的 hp 网络摄像头

dist数组的最后一个参数不需要为0，只有数组索引2和3控制平移，其他都是径向畸变参数。

@Sam，你是怎么计算出来的？