立体匹配算法（局部立体匹配全局立体匹配深度学习立体匹配）

Posted 2021-12-17 一颗小树x

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了立体匹配算法（局部立体匹配全局立体匹配深度学习立体匹配）相关的知识，希望对你有一定的参考价值。

前言

双目立体匹配的原理类似于人类的视觉原理：分别单独使用左眼和单独使用右眼去观察一个物体，该物体在两个视角中的相对位置会存在一定的偏移，人类视觉系统可以根据该偏移去判断该物体的距离远近。

同样的，在双目立体匹配中，只要能在两张图像中正确地找到匹配点，结合相机的内部参数和外部参数，就能精准地计算出空间点距离拍摄相机的距离。

一、立体匹配简介

双目立体视觉一般是指使用两个摄像机从不同的角度获取同一个场景的左右视图，然后使用双目立体匹配算法来寻找左右视图中的匹配像素点对，最后利用三角测量原理来还原三维空间物理点过程。其中双目立体匹配算法是最为核心的。

立体匹配是一种根据平面图像来恢复真实场景深度信息的技术，其做法是从两个或多个相同场景的图像中找出匹配点对，然后根据三角测量原理计算点对所对应的空间物理点的深度。

二、国内外研究现状

传统立体匹配方法基于计算机视觉的通用定律和人为观察设计的规则，对匹配像素的搜索进行指引。在判断某个像素和另一幅图像上的一个像素是否匹配时，根据同时考虑匹配情况的周围像素范围是局部的还是全局的，传统立体匹配方法又可分为局部立体匹配方法和全局立体匹配方法，它们有着各自的优点和不足。

深度学习立体匹配方法。随着近几年可用训练数据集的增加和计算机性能的提升，基于训练学习的深度学习立体匹配方法得到迅速的发展，逐渐成为立体匹配技术研究的主流。

三、局部立体匹配算法

局部立体匹配算法，整个过程可分为四个步骤：

像素匹配代价计算
匹配代价聚合
视差计算
视差图后处理

3.1 像素匹配代价计算

对左眼视图中的像素，需要计算其与右眼视图中可能的匹配像素之间的匹配代价，用来表征两个像素点的匹配程度。匹配代价越大，表示这两个像素的相似性越低，代表同一个实际空间物理点的可能性越小。

3.1.1 像素的灰度值 是一个像素最基本的信息，所以最简单的方法是使用两个像素的灰度绝对值、灰度差平方值或者使用强度值采样作为两个像素的匹配代价。

但是在一副图像中会存在很多灰度值相同的像素点，仅仅使用单个像素的灰度值无法区分这些像素。此外，由于左右视图拍摄设备的参数、拍摄噪声不完全相同，拍摄时光照条件不同，一个物体在两幅图像中的成像也会显示不同的颜色，所以这类简单方法在很多情况下是无法正确衡量两个像素的不相似程度的，会导致大量的误匹配。

3.1.2 图像上的位置信息；处于图像上的不同位置，其周围的像素集合不同，它们所构成的图像区域结构也就不同。

以一个像素为中心去取一个固定大小的窗口（称为特征窗口），然后把比较两个像素的匹配程度转换为比较两个像素其特征窗口的图像块相似性，这样能更加准确地衡量两个像素在图像上表现出来的差异。这也是目前双目立体匹配中像素匹配代价计算的基本思路。

3.1.3 匹配代价的方法

归一化互相关方法（Normalized cross correlation，简记为 NCC 算法）计算两个图像块之间的互相关性来代替像素的匹配代价，它对局部的灰度值线性变化具有不变性，抗噪声干扰能力较强，但容易受局部光照变化的影响，且匹配速度较慢；

基于互信息的代价计算方法（Mutual information-based，简记为 MI 算法）利用图像灰度值概率分布的信息去计算匹配代价，可以在一定程度上应对噪声干扰和辐射畸变的影响，但是它在无纹理区域和物体边界处的匹配效果差。其它还有很多关于 NCC 和 MI 算法的后续改进工作，在一定程度上使得这类方法可以有更大的适用范围。

基于转换的方法; 这类方法从局部像素灰度值的相对顺序不变的假设出发，认为即使是在光照变化强烈的情况下，单个像素的灰度值会发生变化，但该像素与周围像素的灰度值的大小关系是不变的。所以可以比较图像块内各个像素灰度值的大小关系，把比较结果作为代表该图像块结构信息的特征，然后把比较两个像素的匹配程度转换为比较两个像素特征的相似性。

这类方法的代表算法有 CENSUS 算法、LBP 算法（Local binary pattern）、SLBP 算法（Support local binary pattern）、FEP算法（Fuzzy encoding pattern）、RSRT 算法（Robust soft rank transformations）、ADCENSUS 算法（Absolute difference and CENSUS），等等。长期的实践证明，这类算法在立体匹配中表现出的匹配效果优异，稳定性高。

3.2 匹配代价聚合

图像上的像素通常与其周围的像素形成一个整体，如都是表示同一个物体，或者表示同一个物体的某部分，这个联系（匹配代价聚合）使得一个像素会和周围的部分像素有着接近的匹配情况。从另外一个方面讲，一个像素的匹配需要受周围其它像素匹配情况的约束，不能孤立地考虑单个像素的匹配情况。

局部立体匹配方法在考虑一个像素的匹配情况时，只考虑“该像素”周围一个小区域内其它像素的匹配情况。

对于左右视图中两个像素，通常会分别以这两个像素为中心取相同大小的窗口（称为聚合窗口），然后逐个计算两个窗口内处于相同位置的像素之间的匹配代价，并把这些匹配代价值累加起来作为最终的聚合匹配代价。如果聚合代价越小，则两个像素越有可能是匹配的。

左右视图中的两个像素取形状大小相同的聚合窗口，这种做法默认假设了处于聚合窗口内的像素具有相同的视差值，即它们在实际空间中距离相机的距离相同。但是，实际情况中小窗口内的像素不一定具有相同的视差，所以关于代价聚合步骤，研究的主要工作在于如何选择合适的窗口进行聚合。

有一部分论文致力于找到与中心像素具有相同视差的像素：离中心像素较近的区域内，如果一个像素的灰度值与中心像素的灰度值相近，便认为该像素与中心像素的视差相同，在聚合时也只累加上这部分具有相同视差的像素的匹配代价；

另外一部分论文无论对待什么情况，都选取一个固定大小的矩形聚合窗口，只是在对窗口内各个像素的匹配代价进行累加时都附加上一个权重，该权重表示该像素与中心像素具有相同视差的可能性大小。如对聚合窗口施加一个高斯滤波权重后进行聚合、对聚合窗口进行引导滤波聚合、把聚合窗口拓展到整幅图像后加权聚合；还有一部分论文认为左边视图中的区域映射到右边视图时，需要先找到该区域所在真实三维空间中的平面法向量，再根据平面法向量进行映射。