单目相机双目相机和RGB-D相机学习笔记（一些视频和博文网址）

Posted 2023-03-03 雪花飘~

目录

• 1. 单目相机
• • 1.1 摄像头原理
  • 1.2 单目相机的标定
• 2 双目相机
• • 2.1 双目相机定位原理
  • 2.2 双目相机的缺陷
• 3 RGB-D相机
• • 3.1 深度相机结构光原理
  • 3.2 RGB-D相机的应用

1. 单目相机

1.1 摄像头原理

视频网址：【全网最详细】摄像头原理分析（约25分钟课程）

要点： 小孔成像、凸透镜和焦距（相机清晰度及调焦）

1.2 单目相机的标定

视频网址：【单目相机如何标定】（约4分钟简约介绍）

其实就是用棋盘格纸求相机的内、外参矩阵，具体方法可自学张正友标定法。

博文网址：相机标定之张正友标定法数学原理详解（含python源码） - 知乎

要点： 最好有数字图像处理专业课基础，这样博文读起来才比较容易理解。我是有相关基础，又接触了多年机器学习，现在回归头来再次阅读，便醍醐灌顶、茅塞顿开、认识有了新的提升。注意，第一次求出来的内、外参和畸变参数仅作为初始参数，还要像梯度下降法一样进行多次迭代优化才能得到近似最优解。

博文网址：SLAM入门之视觉里程计(6)：相机标定 张正友经典标定法详解 - Brook_icv - 博客园

要点： 这部分基础非常重要，对后面学习RGB-D相机原理有巨大作用。

2 双目相机

2.1 双目相机定位原理

视频网址：【全网最详细】双目摄像头原理分析】（约5分钟课程）

博文网址：深度相机之双目成像

要点： 简单理解一下即可。以下图为例，$P$点在左边相机$C_L$的成像点为$P_L$，只要在右边相机上找到$P$的对应匹配特征点，画一条线过去找交叉点即可确定$P$点的3D位置。在$C_R$上全图两两匹配比较耗时。注意，射线$C_{L}P$上的点$P_3$、$P_2$、$P_1$和$P$在右边相机$C_R$的成像点分别为红线上的4个点，利用该约束关系，不用全局两两匹配，可以直接在红线上进行两两匹配，大幅度减少了匹配范围。

2.2 双目相机的缺陷

双目相机进行定位需要先实现特征点匹配，这个过程比较困难。以上图为例，假如$P_R$和红线上的点长得很相似，那么$P_L$有可能与红线上的其他点进行误匹配，从而造成定位误差。RGB-D相机通过结构光的空间调制或时间调制解决上述问题。

3 RGB-D相机

3.1 深度相机结构光原理

视频网址：【全网最详细】RGB-D相机原理分析（约21分钟课程）

要点： 这个视频讲的比较清楚，要反复来回看几遍进行理解。视频里有些用词不是很准确，例如“密码”。看完视频，要思考一个问题，如何对齐RGB图像和深度图像？ 注意，先学好线性代数和数字图像处理基础知识 (^ _ ^)

博文地址：Kinect深度图与RGB摄像头的标定与配准

博文地址：Kinect学习（6）——深度图与彩色图配准（学习版2） - 简书

3.2 RGB-D相机的应用

应用有很多，例如：在RGB图像上用YOLOv4定位出目标物，然后对齐至深度图像上，实现3D定位。