OpenCV 2.3 相机校准
Posted
技术标签:
【中文标题】OpenCV 2.3 相机校准【英文标题】：OpenCV 2.3 camera calibration 【发布时间】：2012-04-18 20:05:05 【问题描述】：我正在尝试使用OpenCV 2.3 python 绑定来校准相机。我在 matlab 中使用了下面的数据并且校准工作，但我似乎无法让它在 OpenCV 中工作。我作为初始猜测设置的相机矩阵非常接近从 matlab 工具箱计算的答案。
import cv2
import numpy as np
obj_points = [[-9.7,3.0,4.5],[-11.1,0.5,3.1],[-8.5,0.9,2.4],[-5.8,4.4,2.7],[-4.8,1.5,0.2],[-6.7,-1.6,-0.4],[-8.7,-3.3,-0.6],[-4.3,-1.2,-2.4],[-12.4,-2.3,0.9], [-14.1,-3.8,-0.6],[-18.9,2.9,2.9],[-14.6,2.3,4.6],[-16.0,0.8,3.0],[-18.9,-0.1,0.3], [-16.3,-1.7,0.5],[-18.6,-2.7,-2.2]]
img_points = [[993.0,623.0],[942.0,705.0],[1023.0,720.0],[1116.0,645.0],[1136.0,764.0],[1071.0,847.0],[1003.0,885.0],[1142.0,887.0],[886.0,816.0],[827.0,883.0],[710.0,636.0],[837.0,621.0],[789.0,688.0],[699.0,759.0],[768.0,800.0],[697.0,873.0]]
obj_points = np.array(obj_points)
img_points = np.array(img_points)
w = 1680
h = 1050
size = (w,h)
camera_matrix = np.zeros((3, 3))
camera_matrix[0,0]= 2200.0
camera_matrix[1,1]= 2200.0
camera_matrix[2,2]=1.0
camera_matrix[2,0]=750.0
camera_matrix[2,1]=750.0
dist_coefs = np.zeros(4)
results = cv2.calibrateCamera(obj_points, img_points,size,
camera_matrix, dist_coefs)
【问题讨论】：
您所说的“似乎无法正常工作”是什么意思——它会产生某种错误吗？ （在这种情况下，会出现什么错误？）还是它运行了，只是没有给出你期望的系数？ 【参考方案1】：首先，您的相机矩阵是错误的。如果你阅读documentation，它应该是这样的：
fx 0 cx
0 fy cy
0 0 1
如果你看你的，你就搞错了：
fx 0 0
0 fy 0
cx cy 1
首先，将camera_matrix 设置为camera_matrix.T（或更改构造camera_matrix 的方式。记住camera_matrix[i,j] 是行 i，列 j)。
camera_matrix = camera_matrix.T
接下来，我运行了你的代码，我看到“似乎无法让它工作”意味着以下错误（顺便说一下 - 总是说出“似乎无法让它工作”的意思在你的问题中 - 如果它是一个错误，发布错误。如果它运行但给你奇怪的数字，那么说）：
OpenCV Error: Assertion failed (ni >= 0) in collectCalibrationData, file /home/cha66i/Downloads/OpenCV-2.3.1/modules/calib3d/src/calibration.cpp, line 3161
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
cv2.error: /home/cha66i/Downloads/OpenCV-2.3.1/modules/calib3d/src/calibration.cpp:3161: error: (-215) ni >= 0 in function collectCalibrationData
然后我阅读了documentation（顺便说一句非常有用）并注意到obj_points 和img_points 必须是向量的向量，因为可以输入一组同一棋盘的多个图像的对象/图像点（/校准点）。
因此：
cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix, dist_coefs)
什么？我仍然遇到同样的错误？！
然后，我查看了 OpenCV python2 样本（在文件夹 OpenCV-2.x.x/samples/python2 中），并注意到 calibration.py 向我展示了如何使用校准函数（永远不要低估样本，它们通常比文档！）。
我尝试运行calibration.py，但它没有运行，因为它没有提供必要的camera_matrix 和distCoeffs 参数。所以我对其进行了修改以输入一个虚拟的camera_matrix 和distCoeffs，嘿，它可以工作了！
我可以看到我的obj_points/img_points 和他们的唯一区别是他们的有dtype=float32，而我的没有。
所以，我将我的obj_points 和img_points 更改为也有dtype float32（OpenCV 的python2 接口很有趣；当矩阵没有dtype 时，函数通常不起作用）：
obj_points = obj_points.astype('float32')
img_points = img_points.astype('float32')
然后我再试一次：
>>> cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix, dist_coefs)
OpenCV Error: Bad argument
(For non-planar calibration rigs the initial intrinsic matrix must be specified)
in cvCalibrateCamera2, file ....
什么？！至少是一个不同的错误。但我确实提供了一个初始内在矩阵！
所以我回到文档，注意flags 参数：
flags – 不同的标志，可能为零或组合 以下值：
CV_CALIB_USE_INTRINSIC_GUESScameraMatrix 包含有效的初始 进一步优化的 fx、fy、cx、cy 的值...
啊哈，所以我必须明确地告诉函数使用我提供的初始猜测：
cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix.T, dist_coefs,
flags=cv2.CALIB_USE_INTRINSIC_GUESS)
万岁！有效！
（故事的寓意 - 仔细阅读 OpenCV 文档，如果您使用 Python cv2 接口，请使用最新版本（即在 opencv.itseez.com 上）。另外，请参阅 @987654357 中的示例@目录来补充文档。有了这两个东西你应该可以解决大部分问题。）
【讨论】：
谢谢您，先生。我在文档中找到了“向量的向量”，但无法很好地理解它的含义。 @mathematical.coffee：你能指出在 OpenCV 校准非共面钻机中使用的算法（论文）吗？我相信它来自于 Bouguet link 的 Matlab 相机校准工具箱。但是，我不确定是Tsai算法还是Heikkila算法？ @SatishKumar，我不知道他们用的是什么。 The documentation 有一个指向 Bouget Matlab 东西的链接。或许你可以通读源码看看。 我希望我能为您对样本的阅读 +10。我希望他们也在他们的网站上记录“float32”的要求。 @mathematical.coffee，嗨，您是否能够使用非平面校准装置成功校准？我得到一个非常高的重投影误差和一个非常接近我作为输入提供的初始猜测的校准矩阵。【参考方案2】：不管怎样，下面的代码 sn-p 目前在 2.4.6.1 下工作：
pattern_size = (16, 12)
pattern_points = np.zeros( (np.prod(pattern_size), 3), np.float32)
pattern_points[:, :2] = np.indices(pattern_size).T.reshape(-1, 2).astype(np.float32)
img_points = pattern_points[:, :2] * 2 + np.array([40, 30], np.float32)
print(cv2.calibrateCamera([pattern_points], [img_points], (400, 400), flags=cv2.CALIB_USE_INTRINSIC_GUESS))
请注意，不需要 camera_matrix 和 dist_coefs。
【讨论】：
【参考方案3】：在 math.coffee 的帮助下，我运行了这个 3d 校准。
import cv2
from cv2 import cv
import numpy as np
obj_points = [[-9.7,3.0,4.5],[-11.1,0.5,3.1],[-8.5,0.9,2.4],[-5.8,4.4,2.7],[-4.8,1.5,0.2],[-6.7,-1.6,-0.4],[-8.7,-3.3,-0.6],[-4.3,-1.2,-2.4],[-12.4,-2.3,0.9],[-14.1,-3.8,-0.6],[-18.9,2.9,2.9],[-14.6,2.3,4.6],[-16.0,0.8,3.0],[-18.9,-0.1,0.3],[-16.3,-1.7,0.5],[-18.6,-2.7,-2.2]]
img_points = [[993.0,623.0],[942.0,705.0],[1023.0,720.0],[1116.0,645.0],[1136.0,764.0],[1071.0,847.0],[1003.0,885.0],[1142.0,887.0],[886.0,816.0],[827.0,883.0],[710.0,636.0],[837.0,621.0],[789.0,688.0],[699.0,759.0],[768.0,800.0],[697.0,873.0]]
obj_points = np.array(obj_points,'float32')
img_points = np.array(img_points,'float32')
w = 1680
h = 1050
size = (w,h)
camera_matrix = np.zeros((3, 3),'float32')
camera_matrix[0,0]= 2200.0
camera_matrix[1,1]= 2200.0
camera_matrix[2,2]=1.0
camera_matrix[0,2]=750.0
camera_matrix[1,2]=750.0
dist_coefs = np.zeros(4,'float32')
retval,camera_matrix,dist_coefs,rvecs,tvecs = cv2.calibrateCamera([obj_points],[img_points],size,camera_matrix,dist_coefs,flags=cv.CV_CALIB_USE_INTRINSIC_GUESS)
我现在唯一的问题是为什么从校准函数返回时 dist_coefs 向量的长度为 5 个元素。文档说“如果向量包含四个元素，则意味着 K3=0”。但实际上使用的是 K3，无论 dist_coefs 的长度（4 或 5）。此外，我似乎无法让标志 CV_CALIB_FIX_K3 工作，绑定到使用该标志来强制 K3 为零。现金说整数是必需的。这可能是因为我不知道如何一次做多个标志，我只是这样做，flags = (cv.CV..., cv.CV...)。
Just to compare, from the matlab camera cal routine the results are...
Focal length: 2210. 2207.
principal point: 781. 738.
Distortions: 4.65e-2 -9.74e+0 3.9e-3 6.74e-3 0.0e+0
Rotation vector: 2.36 0.178 -0.131
Translation vector: 16.016 2.527 69.549
From this code,
Focal length: 1647. 1629.
principal point: 761. 711.
Distortions: -2.3e-1 2.0e+1 1.4e-2 -9.5e-2 -172e+2
Rotation vector: 2.357 0.199 -0.193
Translation vector: 16.511 3.307 48.946
我想如果我能弄清楚如何强制 k3=0，其余的值就会对齐。
【讨论】：
【参考方案4】：将 dist_coeffs 向量设为 5 维零向量，然后使用 CV_CALIB_FIX_K3 标志。您可以看到向量 (K3) 中的最后一个元素将为零。
当涉及到使用多个标志时，您可以对它们进行 OR。
示例：cv.CV_CALIB_USE_INTRINSIC_GUESS | cv.CV_CALIB_FIX_K3
【讨论】：
【参考方案5】：使用Point3f 和Point2f 而不是Point3d 和Point2d 来定义object_points 和image_points，它会起作用。
【讨论】：
以上是关于OpenCV 2.3 相机校准的主要内容，如果未能解决你的问题，请参考以下文章