双目立体视觉

Posted 2021-01-05 jefy

1.简介：

双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息，就可以计算出物体与相机之间的实际距离，物体3维大小，两点之间实际距离。

2.建立立体视觉

为了精确地求得某个点在三维空间里的深度信息，我们需要获得的参数有焦距f、视差d、摄像头中心距Tx；
为了获得某个点的X坐标和Y坐标，还需要知道左右像平面的坐标系与立体坐标系中原点的偏移cx和cy。
因此我们需要进行如下步骤：双相机分别进行相机标定、确定两相机之间的关系、外极线矫正、立体匹配（SSD、SAD等方法）、求视差图、求深度图。

 

双目校正是根据摄像头定标后获得的单目内参数据（焦距、成像原点、畸变系数）和双目相对位置关系（旋转矩阵和平移向量），分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。将左右视图调整成完全平行对准的理想形式（如下图）。

    

校正反映到图像上就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。