彩色图与深度图对齐

Posted 2021-05-29 dxmcu

这个“对齐”对应的专业术语叫做“配准”，也有叫做“注册”的。由于彩色相机和深度相机的内参和图像大小均不严格相同，得到的彩色图像和深度图像都是或多或少有错位的现象存在的。彩色图像和深度图像只有配准之后，彩色图像上的像素和深度图像上的像素才能够保持一一对应的关系；否则就会出现类似于“取彩色图像上像素(200,200)的深度值，但是在深度图上坐标为(200,200)处的深度值却是彩色图中(198,203)这个像素的深度值”这种情况。

不过目前大部分驱动在提供彩色图和深度图的时候都会提供进行图像配准的API接口，通过这个接口可以直接读取到经过配准后的深度图像和彩色图像；但是个人实践感觉有些驱动例如楼上说的Libfreecnt有时候提供的配准图像并没有做到非常好的效果，疑似是需要把彩色相机和深度相机（一般也就是红外相机）的内参写入到相关文件中，才能够拿到比较好的配准结果。对于kinect2在windows SDK下的配准结果就挺不错的。



配准的方法有专门的研究，严格来讲已经不是咱们这个板块“SLAM”技术的范围内了，可以检索相关论文，以及楼上提到的开源驱动libfreect。这个我不太了解，但是觉得也基本上是一个 well-studied 的问题了，资料会挺丰富的。