光场相机重聚焦之二——Lytro Illum记录光场

Posted 2020-09-12 逍遥一度，恣情江湖

上一节中大概讲述了光场相机和光场的参数化表示，这一节就说一下光场相机内部是如何记录光场以及实现重聚焦的。

博主用的是Lytro Illum，所以就以Illum为例来说了，Illum的功能还是挺多的，上手使用的童靴需要相机使用手册可以上网找一下，都有的。

切入正题

首先，说一下Lytro Illum的一些基本信息：Illum的Senser一共有4000万个像素左右，得到的传感器图像（光场图像）尺寸为7728*5368，就是4148 3904个像素；Illum的微透镜阵列个数为541*434个，每一个微透镜后面对应的像素个数为15*15=225个；illum传感器得到的图像为拜尔格式，排布为\'gbgr\'。

博主以三个小问题开头，这也是我刚开始研究Lytro Illum时的疑问：

1.光场相机内部如何记录光线的方向？

有了上一节所说的微透镜结构，光场相机就可以实现光线的方向和强度的记录。如下图所示，不同方向的光线经过主镜头进入相机内部，汇聚到微透镜阵列上不同的微透镜上，经过微透镜后又发散成若干条光线分别到达传感器的感光元件上。这里每一个微透镜视为一个宏像素，每一个(宏像素)微透镜后面对应15*15个元像素(感光单元)。这15*15个元像素的亮度总和为最终宏像素的亮度，即宏像素的亮度为其对应所有元像素的积分。而每一个元像素对应通过前面微透镜的一条光线，在Lytro illum中，15*15个元像素就可以记录225条通过前面微透镜的不同方向的光线，所以Lytro illum一共可以记录的光线条数为N*225, N 为微透镜个数。

2.Lytro illum中光场如何参数化表示？

根据4D光场原理，光场用表示，在Lytro illum中， , 其中s, t分别表示微透镜(宏像素)阵列行数和列数。，其中 u, v 分别表示每一个微透镜后面元像素的行数和列数。而每一个宏像素处的亮度为其对应所有元像素的积分，用下式表示：

在光场 中，如果固定s, t, 即选定某一个微透镜，遍历u,v，就可以得到该微透镜下15*15个元像素图像，如下左图所示；如果固定u, v，即选定每一个微透镜下某一处元像素，遍历s, t，就可以得到一幅主镜头的子孔径图像，一共可以得到225幅子孔径图像, 如下右图所示为其中一幅。在如果你使用的是Matlab工具包，得到的光场数据保存在一个5D的数组中，比四维多出的一维是通道数。即LF(u,v,s,t,c)，获取单个微透镜下((300,300)为例)的图像可以使用这条语句Img=squeeze(LF(:,:,300,300, 1:3))，而获取某一个子孔径图像（(5,5)为例）可以使用这条语句Img=squeeze(LF(5,5, :, :, 1:3))。

每个微透镜单元后同一位置的像元均是主镜头同一子孔径的投影，由这些像元可共同组成一幅子孔径图像。不同的子孔径图像是不同方向的光线成像得到，因此在视角上会有区别。

 

                        

 

 3.Lytro illum如何实现重聚焦？

 重聚焦就是将采集到的光场重新投影到新的像平面进行积分。以二维情况为例，L(u, s)为采集到的光场，U 和S分别表示主镜头孔径所在的平面和微透镜阵列所在平面，两个平面之间的距离为L。选择新的对焦平面S’，与U平面的距离为L’，令L’=α*L。S’平面上所成的像等于U-S’之间光场的积分，即：

对于同一条光线而言，应该有：

同时根据光线与各平面的交点坐标可以得到如下关系;

令， 变换后得到：

 

将其代入上式，得到:

推广到四维情况，可以得到如下的重聚焦公式：

从式中可以看出，重对焦就是对光场在位置维度进行平移后在方向维度进行积分的过程。

光场相机的理论研究差不多就这样了，想更深入研究的可以看关于光场相机的论文，其实看我上一篇列出来的就可以了。

下一节主要讲一下如何使用matlab光场工具包解码Lytro Illum拍摄得到的光场文件以及一些处理，并且展示一下重聚焦的效果，今天就到此。