2021-08-16SLAM十四讲第5讲——从相机坐标到像素坐标

Posted 2023-03-28

参考技术A

在视觉SLAM中，要对图像进行处理，首先要得到图像，本讲就再描述如何从现实世界，通过相机，得到一张二维世界的图像，这张图像一般我们用像素表示，也就意味着，我们要去了解 现实三维坐标到像素坐标的表示 。

首先我们把世界坐标到相机坐标的转换：设现实世界坐标为 ,相机坐标为 ，旋转矩阵为变换矩阵为 ,那么

详细的内容在第三讲已经讲到，可以参考我之前写过的内容 十四讲第三章 - (jianshu.com)

中学物理实验，小孔成像中的投影平面，可以说就是一种物理成像平面。在这之前我们先要阐述什么是针孔相机模型，它的示意图如下所示

前面提到的物理成像图，还不是一个能够存储在计算机中，可以被计算机处理，运用的图像，实际上，物理成像坐标的平面的原点在图像的中心，而像素坐标系（也就是为计算机熟知的图像存储方式）中，坐标系原点在图像的左上角，并且还要调整大小。这就涉及到对物理成像的缩放和平移，则物理成像坐标 和像素坐标 的关系为：

表示缩放， 表示平移。
结合第2节内容，并且把 替换为 ,有:

单位是像素/毫米，表示了米或者毫米到像素的转换。
引入齐次坐标：
K称为内参矩阵，表示了相机的内部参数， 是相机坐标。相对的，旋转矩阵R和平移向量t就是外参。

归一坐标就是 ,内参化，即左乘K之后可以直接得到像素坐标

相机前方我们我安装了透镜，透镜的加入对成像过程中光线的传播会产生新的影响：一是透镜自身的形状对光线传播的影响，二是在机械组装过程中，透镜和成像平面不可能完全平行，这也会使得光线穿过透镜投影到成像面时的位置变化。
畸变的分类可以分为径向畸变和切向畸变，径向畸变又分为桶形畸变，枕形畸变。在极坐标中，径向畸变可以看成改变长度 ，切向畸变可以看乘改变角度 。

对于径向畸变，不管是桶形畸变还是枕形畸变，可以用与中心距离有关的二次及高次多项式函数进行纠正。

对于畸变较小的图像中心区域，畸变纠正主要是 起作用；而对于畸变较大的边缘区域，主要是 起作用。普通摄像头用这两个系数就可以较好地纠正径向畸变。对畸变很大的摄像头，比如鱼眼摄像头，可以加入 畸变项对畸变进行纠正。

对于切向畸变，可以用参数 来纠正:

于是，结合物理成像坐标到像素坐标的转换，对于相机坐标系中的一点 ,我们可以通过五个畸变系数得到P在像素平面上的正确位置：
1.将三维空间投影到归一化图像平面。设它的归一化坐标为 。
2.对归一化平面上的点进行径向畸变和切向畸变纠正。给定归一化坐标，可以求出原始图像上的坐标。

3.将纠正过后的点通过内参矩阵投影到像素平面，得到该点在图像上的正确位置。

这里矫正畸变还是先还原到像素坐标，是可以变化的，但是按照习惯，我们采用先矫正畸变，后还原到像素坐标的顺序进行。

通过这样一章学习，我们掌握了如何将描述相机的观测，即如何把现实世界中的点 转化为像素坐标下的点 :
1. 的相机坐标 ，
2.对 归一化，得到归一化坐标
3.对归一化平面的点进行切向和径向畸变纠正得到
4.对纠正后的坐标进行内参化，