2021-08-16SLAM十四讲第5讲——从相机坐标到像素坐标

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了2021-08-16SLAM十四讲第5讲——从相机坐标到像素坐标相关的知识,希望对你有一定的参考价值。

参考技术A

在视觉SLAM中,要对图像进行处理,首先要得到图像,本讲就再描述如何从现实世界,通过相机,得到一张二维世界的图像,这张图像一般我们用像素表示,也就意味着,我们要去了解 现实三维坐标到像素坐标的表示

首先我们把世界坐标到相机坐标的转换:设现实世界坐标为 ,相机坐标为 ,旋转矩阵为变换矩阵为 ,那么

详细的内容在第三讲已经讲到,可以参考我之前写过的内容 十四讲第三章 - (jianshu.com)

中学物理实验,小孔成像中的投影平面,可以说就是一种物理成像平面。在这之前我们先要阐述什么是针孔相机模型,它的示意图如下所示

前面提到的物理成像图,还不是一个能够存储在计算机中,可以被计算机处理,运用的图像,实际上,物理成像坐标的平面的原点在图像的中心,而像素坐标系(也就是为计算机熟知的图像存储方式)中,坐标系原点在图像的左上角,并且还要调整大小。这就涉及到对物理成像的缩放和平移,则物理成像坐标 和像素坐标 的关系为:

表示缩放, 表示平移。
结合第2节内容,并且把 替换为 ,有:

单位是像素/毫米,表示了米或者毫米到像素的转换。
引入齐次坐标:
K称为内参矩阵,表示了相机的内部参数, 是相机坐标。相对的,旋转矩阵R和平移向量t就是外参。

归一坐标就是 ,内参化,即左乘K之后可以直接得到像素坐标

相机前方我们我安装了透镜,透镜的加入对成像过程中光线的传播会产生新的影响:一是透镜自身的形状对光线传播的影响,二是在机械组装过程中,透镜和成像平面不可能完全平行,这也会使得光线穿过透镜投影到成像面时的位置变化。
畸变的分类可以分为径向畸变和切向畸变,径向畸变又分为桶形畸变,枕形畸变。在极坐标中,径向畸变可以看成改变长度 ,切向畸变可以看乘改变角度 。

对于径向畸变,不管是桶形畸变还是枕形畸变,可以用与中心距离有关的二次及高次多项式函数进行纠正。

对于畸变较小的图像中心区域,畸变纠正主要是 起作用;而对于畸变较大的边缘区域,主要是 起作用。普通摄像头用这两个系数就可以较好地纠正径向畸变。对畸变很大的摄像头,比如鱼眼摄像头,可以加入 畸变项对畸变进行纠正。

对于切向畸变,可以用参数 来纠正:

于是,结合物理成像坐标到像素坐标的转换,对于相机坐标系中的一点 ,我们可以通过五个畸变系数得到P在像素平面上的正确位置:
1.将三维空间投影到归一化图像平面。设它的归一化坐标为 。
2.对归一化平面上的点进行径向畸变和切向畸变纠正。给定归一化坐标,可以求出原始图像上的坐标。

3.将纠正过后的点通过内参矩阵投影到像素平面,得到该点在图像上的正确位置。

这里矫正畸变还是先还原到像素坐标,是可以变化的,但是按照习惯,我们采用先矫正畸变,后还原到像素坐标的顺序进行。

通过这样一章学习,我们掌握了如何将描述相机的观测,即如何把现实世界中的点 转化为像素坐标下的点 :
1. 的相机坐标 ,
2.对 归一化,得到归一化坐标
3.对归一化平面的点进行切向和径向畸变纠正得到
4.对纠正后的坐标进行内参化,

以上是关于2021-08-16SLAM十四讲第5讲——从相机坐标到像素坐标的主要内容,如果未能解决你的问题,请参考以下文章

视觉slam十四讲适不适合科普

slam十四讲各章内容概述

视觉slam十四讲第七章课后习题6

视觉SLAM十四讲笔记 -- 第二讲

视觉SLAM十四讲笔记 -- 第二讲

视觉SLAM十四讲笔记 -- 第二讲