图像增强-- 3GGMM

Posted 2022-12-14 zizi7

这是文章《Restoration of Unevenly Illuminated Images》【1】提出的一种方法，经过测试没有MSRCR的方法好（也有可能是我复现的问题）。但思路比较有意思所以记录一下

这种方法认为光照不均匀图像的灰度直方图可以用一个高斯混合模型拟合，该模型包含3个高斯分布，分别代表过暗、过曝和正常3部分内容 – (3GGMM) a three-component generalized Gaussian mixture model。
                            
                                           图1. 光照不均匀图像的直方图可以用一个混合高斯模型表示（图片取自论文【1】）

方法首先应用EM算法估计高斯混合模型的参数，然后对代表过暗和过曝的部分应用OCTM【2】算法做灰度均衡

---

高斯混合模型参数估计

在这里高斯分布的数量是3，还需要估计每个高斯分布的均值、方差和概率

文章【1】提出使用文献【3】的方法估计“有限范围的高斯混合模型参数”，但经过我的测试，通用的EM算法就可以获得不错的效果
                           
                                                                   图2. 白色：灰度直方图；绿色：EM算法估计的结果

图2中左上是原图；右上是灰度直方图和估计结果；左下是使用估计结果做的分割；右下是论文中的结果

可以看到主要差别在天际线附近的山，论文的方法分的更好

---

OCTM均衡

将各个区域分出来后，论文单独将过暗和过曝的区域拎出来，各自做OCTM均衡

OCTM算是直方图均衡化的改进，其认为直方图均衡化约束条件不够，因此可能会产生不自然的扭曲
$$\{\begin{array}{r}max\sum _{0\le j<L}{p}_j{s}_j\\ subjectto\sum _{0\le j<L}{s}_j<L^{\prime }\\ s_j\ge 1/d,0\le j<L\end{array}$$

OCTM将其描述为上式所示的线性优化问题，其中
$L$为当前灰度级（通常为256），$L^{\prime }$为映射后灰度级（我这里也定为256）
$p_i$为原始图各个灰度值的概率
$T(i)={\sum }_{0\le j\le i}{s}_j,0\le i<L$，其中$T(i)=j$是OCTM试图找到的一种映射，将原始灰度$i$映射为$j$

限制条件1确保了$T(L-1)<L^{\prime }$
限制条件2确保了映射后灰度变化$s_i$尽可能均衡
目标函数从直观上理解，就是要映射后灰度变化$s_i$的均值取最大（也就是变化尽可能均匀）

像上式这种线性优化问题，可以使用 PuLp 库求解

---

效果

 
                                                                                        图3. 3GGMM方法光照均衡
1）分割后仅对过暗区域处理，过曝区域效果不好；
2）对暗区域直接使用直方图均衡，OCTM方法效果不好（有可能是实现的问题）；
3）首先将原图转换到HSV，仅对V通道做均衡；
3）调整后人物的左脸“黑块”是因为这块区域被划分到非过暗区域（论文中也有这个问题，但最终结果却很好，是OCTM的功劳？）；
4）这种方式对纹理丰富的图像会有问题：边界过渡会很不自然；
5）此外对于特殊图片也有问题：如包含黑白棋盘格的图片，3GGMM会将一个棋盘的黑白格分开，导致棋盘失真
6）将结果与图像增强（1）-- Retinex的MSRCR比较，后者虽然色彩还原不够好，但整体上更自然

---

参考文献

【1】Li M, Wu X, Liu J, et al. Restoration of Unevenly Illuminated Images[C]//2018 25th IEEE International Conference on Image Processing (ICIP). IEEE, 2018: 1118-1122.
【2】Wu X. A linear programming approach for optimal contrast-tone mapping[J]. IEEE transactions on image processing, 2010, 20(5): 1262-1272.
【3】Nguyen T M, Wu Q M J, Zhang H. Bounded generalized Gaussian mixture model[J]. Pattern Recognition, 2014, 47(9): 3132-3142.

---