相机成像与校正原理：将外部世界进行降维

Posted 2022-01-22 卓晴

简 介： 本文根据 相机标定（三）-相机成像模型 中的内容整理而成，初步介绍了相机的成像模型。最后介绍了利用OpenCV中的 calibrateCamera函数进行相机参数校正的过程。

关键词： 相机参数校正，棋盘格，内参，外参

 

§01 相机结构

---

1.1 相机是人眼的延伸

  信息社会中，相机是大众媒体、视觉艺术、将瞬间变成可以回忆的永恒的技术。现在各类图片都是有形形色色的相机拍摄的。人类对于照相机的原理最早可以追溯到 小孔成像 。早在战国初期的 墨子 就利用光直线传播原理介绍了小孔成像原理。直道近代使用透镜成像才开启照相设备的革命。利用透镜成像与我们的眼睛观察世界方式是相同的。

▲ 图1.1.1 人类眼睛构造示意图

  使用了数字技术的单反相机可以获得更加真实的外部世界影像，配合后期计算机图像处理还可以进一步修复图片中的不足。

▲ 图1.1.2 相机镜头 与人眼结构之间对应关系

▲ 图1.1.3 相机镜头 与人眼结构之间对应关系

1.2 什么是成像？

  本质上来说，图像是真实世界场景中在二维平面（成像平面）的投影，它记录了两类信息：

• 几何信息：位置、点、线等；
• 光度信息：强度、色彩。

  所以从另外一个角度来看，相机是对三维世界的降维记录的设备。虽然可以 计算机图像处理算法回复3D ，但这也仅仅是计算机利用常见到的场景最大似然重新渲染的结果。

  比如下面就是利用NERF（神经辐射场）让照片动起来的效果。

▲ 图1.2.1 利用NERF（神经辐射场）让照片动起来：

 

§02 成像模型

---

  为了更好从成像数据中获取外部世界信息，需要对相机成像进行数学刻画，也就是建立成像模型。这部分的内容包括有：

• 小孔成像模型（Pinhole camera model）
• 正交投影（Orthographic projection）
• 缩放正交投影（Scaled orthographic projection）
• 透视投影（Perspective projection）

2.1 小孔成像模型

  小孔成像模型，也是针对普通数字相机最为广泛应用的一种相机模型，是透视投影（Perspective Projection）的一种最简单的形式。

▲ 图2.1.1 小孔成像模型示意图

  通过将像平面前置到小孔与3D物体之间，形成虚拟像平面，可以简化分析成像过程。

  假设相机的投影中心位于一个欧式坐标系的原点$O$，相机面向z轴正方向，并且成像平面（或者说焦平面）在当前坐标系下的表达为$Z=f$，这个数值也成为相机的焦距。那么，在小孔成像模型的作用下，如下图所示，3D空间中的一个点会被投影为成像平面上的一个2D点，也即连接相机投影中心和3D点的直线与成像平面的交点。

▲ 图2.1.2 将成像平面放置在小孔与物体之间

  通过相似三角形，可以很容易看出3D点${\left(X,Y,Z\right)}^T$被投影成为成像平面上的${\left(fX/Z,fY/Z,f\right)}^T$，可以看出：

  上面的公式就描述了小孔成像模型下，3D点映射到2D成像平面上的关系。

  为了将图像转换中与坐标原点相关的平移合并到乘法运算中，常使用齐次坐标来表示图像。比如上面公式中的三维点的齐次坐标为${\left(X,Y,Z,1\right)}^T$，二维点其次坐标为${\left(fX/Z,fY/Z,1\right)}^T$，也等价为${\left(fX,fY,Z\right)}^T$。小孔成像转换可以表示为：

2.2 正交投影

  正交投影适用于：

• 3D场景距离相机无限远；
• 所有投影线均平行于光轴。

▲ 图2.2.1 正交投影示意图

2.3 缩放正交投影

  缩放正交投影适用于：

• 场景深度$\ll$到相机的距离；
• 场景中所有点的Z值均相同，如$Z_0$。

▲ 图2.3.1 缩放正交投影示意图

2.4 透视投影

▲ 图2.3.2 透视投影示意图

2.5 相机外参

  相机外参反映了相机在世界坐标空间中的位姿，可通过一个刚性变换来表示，通常包含平移$T$和旋转$R$。

  旋转鞠准是正交的，所以：$R^T\cdot R=I$。

 

§03 相机内参

---

3.1 从成像平面到像素平面

  相机内的坐标原点往往是图像的左上角，这也是大多数情况下数字图片在内存存储数组起始点的位置。定义光轴与像平面的交点$p$，成为成像主点，它的位置定为${\left(p_x,p_y\right)}^{T以上是关于相机成像与校正原理：将外部世界进行降维的主要内容，如果未能解决你的问题，请参考以下文章}$

OpenCV相机标定与畸变校正

61 相机投影原理

记录相机成像原理

相机标定的内参、外参、畸变参数

双摄像头立体成像-畸变矫正与立体校正

深度相机-介绍