利用光场进行深度图估计(Depth Estimation)算法之一——聚焦算法

Posted 2020-09-13 逍遥一度，恣情江湖

前面几篇博客主要说了光场相机，光场相机由于能够记录相机内部整个光场，可以实现重聚焦和不同视角的变换，同时也可以利用这个特性进行深度估计（Depth Estimation）。

 

先说一下利用重聚焦得到的不同聚焦平面图像获取深度图，其实这个原理非常简单。

 

1. 以聚焦范围为0.2F-2F为例，alpha∈(0.2,2)，取Depth Resolution=256, 那么步长就为(2-0.2)/256，我们通过重聚焦算法可以获取得到这个范围内的256幅重聚焦图像。

 

2. 对每一幅重聚焦的图像进行求梯度的操作，得到梯度图，比如使用matlab中的Gradient2D()函数，，得到256幅梯度图。注意，都是三通道的，所以求梯度也要在每一个通道进行。

 

3.对每一幅梯度图在局部窗口内进行均值滤波，相当于参考每一个像素点处的邻域梯度值，增加鲁棒性。这个可以简单的使用OpenCV中的Blur()函数实现。

 

4.均值滤波后的图像也是三通道的，这一步需要将每一个像素点处的三个通道值求平均，得到灰度图像。每一个像素点处的灰度值就为其对应的梯度值，而大家都知道，梯度值能够反应边缘、纹理等信息。

 

5.在每一个像素点处，遍历256幅图像，找到梯度值最大的那一幅图像，获取该图像的索引值。（比如某一像素点处的第200幅图像中的梯度值最大，则记录index=200）。遍历所有像素点，并获取索引值。这样得到的是一幅索引图像，每一个像素点处的值对应为该点在该索引下的图像中梯度最大，在程序中为0~255.

 

6.得到上述索引图后就简单了，可以根据每一个像素点处的索引值找到对应的alpha值，也就相应的得到alpha*F的值，该值就为像距V。

 

7.得到像距V，根据光学中的物像位置公示1/U +1/V = 1/F。V和F均已知，当然可以算出该点处的U值，而U就是深度，深度图就得到了。

 

这次没有放图，有时间再放上去，算法参考论文为下文

Tao M W, Hadap S, Malik J, et al. Depth from combining defocus and correspondence using light-field cameras[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013: 673-680.