如何使用相机矩阵在图像中以毫米为单位查找点的位置？

Posted 2023-02-16

【中文标题】如何使用相机矩阵在图像中以毫米为单位查找点的位置？

【英文标题】：How to find the location of a point in an image in millimeters using camera matrix?

【发布时间】：2020-10-23 06:46:09

【问题描述】：

我使用的是标准 640x480 网络摄像头。我已经在 Python 3 的 OpenCV 中完成了相机校准。这是我正在使用的代码。该代码正在运行，并成功为我提供了 Camera Matrix 和 Distortion Coefficients。 现在，我如何才能在我的场景图像中找到 640 像素中有多少毫米。我已将网络摄像头水平安装在桌子上方，并在桌子上放置了机械臂。使用相机我正在寻找对象的 质心。使用 Camera Matrix 我的目标是将该对象的位置（例如 300x200 像素）转换为毫米单位，以便我可以将毫米分配给机械臂来拾取该对象。 我已经搜索但没有找到任何相关信息。 请告诉我是否有任何方程式或方法。非常感谢！

import numpy as np
import cv2
import yaml
import os

# Parameters
#TODO : Read from file
n_row=4  #Checkerboard Rows
n_col=6  #Checkerboard Columns
n_min_img = 10 # number of images needed for calibration
square_size = 40  # size of each individual box on Checkerboard in mm  
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) # termination criteria
corner_accuracy = (11,11)
result_file = "./calibration.yaml"  # Output file having camera matrix

# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(n_row-1,n_col-1,0)
objp = np.zeros((n_row*n_col,3), np.float32)
objp[:,:2] = np.mgrid[0:n_row,0:n_col].T.reshape(-1,2) * square_size

# Intialize camera and window
camera = cv2.VideoCapture(0) #Supposed to be the only camera
if not camera.isOpened():
    print("Camera not found!")
    quit()
width = int(camera.get(cv2.CAP_PROP_FRAME_WIDTH))  
height = int(camera.get(cv2.CAP_PROP_FRAME_HEIGHT))
cv2.namedWindow("Calibration")


# Usage
def usage():
    print("Press on displayed window : \n")
    print("[space]     : take picture")
    print("[c]         : compute calibration")
    print("[r]         : reset program")
    print("[ESC]    : quit")

usage()
Initialization = True

while True:    
    if Initialization:
        print("Initialize data structures ..")
        objpoints = [] # 3d point in real world space
        imgpoints = [] # 2d points in image plane.
        n_img = 0
        Initialization = False
        tot_error=0
    
    # Read from camera and display on windows
    ret, img = camera.read()
    cv2.imshow("Calibration", img)
    if not ret:
        print("Cannot read camera frame, exit from program!")
        camera.release()        
        cv2.destroyAllWindows()
        break
    
    # Wait for instruction 
    k = cv2.waitKey(50) 
   
    # SPACE pressed to take picture
    if k%256 == 32:   
        print("Adding image for calibration...")
        imgGray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

        # Find the chess board corners
        ret, corners = cv2.findChessboardCorners(imgGray, (n_row,n_col),None)

        # If found, add object points, image points (after refining them)
        if not ret:
            print("Cannot found Chessboard corners!")
            
        else:
            print("Chessboard corners successfully found.")
            objpoints.append(objp)
            n_img +=1
            corners2 = cv2.cornerSubPix(imgGray,corners,corner_accuracy,(-1,-1),criteria)
            imgpoints.append(corners2)

            # Draw and display the corners
            imgAugmnt = cv2.drawChessboardCorners(img, (n_row,n_col), corners2,ret)
            cv2.imshow('Calibration',imgAugmnt) 
            cv2.waitKey(500)        
                
    # "c" pressed to compute calibration        
    elif k%256 == 99:        
        if n_img <= n_min_img:
            print("Only ", n_img , " captured, ",  " at least ", n_min_img , " images are needed")
        
        else:
            print("Computing calibration ...")
            ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, (width,height),None,None)
            
            if not ret:
                print("Cannot compute calibration!")
            
            else:
                print("Camera calibration successfully computed")
                # Compute reprojection errors
                for i in range(len(objpoints)):
                   imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
                   error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
                   tot_error += error
                print("Camera matrix: ", mtx)
                print("Distortion coeffs: ", dist)
                print("Total error: ", tot_error)
                print("Mean error: ", np.mean(error))
                
                # Saving calibration matrix
                try:
                    os.remove(result_file)  #Delete old file first
                except Exception as e:
                    #print(e)
                    pass
                print("Saving camera matrix .. in ",result_file)
                data="camera_matrix": mtx.tolist(), "dist_coeff": dist.tolist()
                with open(result_file, "w") as f:
                    yaml.dump(data, f, default_flow_style=False)
                
    # ESC pressed to quit
    elif k%256 == 27:
            print("Escape hit, closing...")
            camera.release()        
            cv2.destroyAllWindows()
            break
    # "r" pressed to reset
    elif k%256 ==114: 
         print("Reset program...")
         Initialization = True

这是相机矩阵：

818.6   0     324.4
0      819.1  237.9
0       0      1

失真系数：

0.34  -5.7  0  0  33.45

【问题讨论】：

您需要知道相机空间中物体的尺寸，比如尺子或其他东西

是的，目前我正在使用尺子或卷尺测量图像中从一侧到另一侧的毫米数。然后找到每像素的毫米。但这不是一个准确的方法。我想在数学上做到这一点而不会出错。

【参考方案1】：

喏，

其实我在想，你应该能够用一种简单的方式解决你的问题：

mm_per_pixel = real_mm_width : 640px

假设相机最初与要拾取的对象的平面平行移动 [即固定距离]，可以找到real_mm_width，测量与您图片的640 像素对应的物理距离。举个例子，假设你找到了real_mm_width = 32cm = 320mm，所以你得到了mm_per_pixel = 0.5mm/px。在固定距离下，这个比率不会改变

看来也是official documentation的建议：

这种考虑有助于我们仅找到 X、Y 值。现在对于 X,Y 值，我们可以简单地将点传递为 (0,0), (1,0), (2,0), ... 表示点的位置。在这种情况下，我们得到的结果 将在棋盘正方形的大小范围内。但如果我们知道 正方形大小，（比如 30 毫米），我们可以将值传递为 (0,0), (30,0), (60,0), ...因此，我们得到了以 mm 为单位的结果

然后你只需要以像素为单位转换质心坐标 [例如(pixel_x_centroid, pixel_y_centroid) = (300px, 200px)] 到 mm 使用：

mm_x_centroid = pixel_x_centroid * mm_per_pixel
mm_y_centroid = pixel_y_centroid * mm_per_pixel

这会给你最终的答案：

(mm_x_centroid, mm_y_centroid) = (150mm, 100mm)

查看同一事物的另一种方式是第一个成员是可测量/已知比率的比例：

real_mm_width : 640px = mm_x_centroid : pixel_x_centroid = mm_y_centroid = pixel_y_centroid

祝你有美好的一天， 安东尼诺

【讨论】：

感谢您明确的回答，我会尝试的。我在这里找到另一个解决方案：***.com/questions/12007775/…你觉得链接里的方法好不好？

@Tehseen 不用担心！即使您链接的解决方案实际上也无法帮助您在不进行物理测量的情况下检索 mm 值。那里的所有计算都基于其first link 中出色地公开的理论。在我的回答中，我假设质心坐标(300px, 200px) 表示(u, v) 系统中图像平面上的值[即原点在图像的左上角]。这是真的还是您的质心坐标是(uc, vc) = (cx, cy) [投影中心] 系统中的值？

我正在测量图像左上角的坐标。

我知道仅使用内部参数我无法从图像坐标中找到世界坐标，除非我有部门信息。但是，如果我同时拥有内部参数和外部参数，那么我就拥有了一切，并且我可以执行从图像坐标到世界坐标的重投影，而无需一些外部深度测量的帮助。这是真的吗？如果是这样，那么我该怎么做？谢谢！参考链接：***.com/a/10750648/3661547