论文阅读：曝光过度，曝光不足增强算法Learning to Correct Overexposed and Underexposed Photos

Posted 2022-12-10 告白少年

论文阅读：Learning to Correct Overexposed and Underexposed Photos

需要解决的问题：

曝光误差可能是由多种因素造成的，例如TTL测光的测量误差、硬照明条件（例如，非常低的照明和背光）、场景亮度水平的剧烈变化，或用户在手动模式下的错误。
在基于相机的成像中，拍摄错误曝光的照片仍然是一个主要的错误来源。曝光问题可分为以下两类：
•（i）曝光过度，相机曝光时间过长，导致图像区域变亮和褪色；
•（ii）曝光不足，曝光时间太短，导致图像区域变暗。

论文方法：

提出了一个由粗到精的深度学习模型，用于过曝光和欠曝光的图像校正。算法：使用拉普拉斯金字塔分解来处理不同频段的输入图像，以多尺度的方式依次校正每个拉普拉斯金字塔层次，从图像中的全局颜色开始，逐步处理图像细节。数据集：通过生成一个包含24000多张不同曝光误差的图像的大型数据集来实现的。

1. 提出了一个粗到细的深度神经网络（DNN）模型，该模型以端到端的方式进行训练，首先对全局颜色信息进行校正，然后对图像细节进行细化。
2. 一个关键贡献是一个新的数据集，它包含了24000多张从原始RGB到sRGB的不同曝光设置的图像。我们的数据集中的每个图像都提供了相应的正确曝光的参考图像。

数据集：

数据集来自麻省理工学院的adobefik数据集，其中有5000个原始RGB图像和由五位专业摄影师手动渲染的sRGB图像，使用Adobe FiveK数据集的线性原始RGB图像（单反拍摄） ， Adobe Camera raw SDK使用嵌入在每个DNG Raw文件中的元数据精确模拟非线性相机渲染过程，相关的Evs(曝光度):-1.5、-1、+0、+1和+1.5分别渲染具有欠曝光误差、原始EV的零增益和过曝光误差的图像。通过对摄像机ISP过程的精确仿真，得到了不同相对曝光值（EVs）的图像。

用不同的数码曝光设置生成了24330张8位sRGB图像。丢弃了一小部分与其对应的地面真实图像不一致的图像。数据集分为三组：（i）17675个训练集 图像（ii）750个图像的验证集（iii）5905个测试集图像。那个训练集、验证集和测试集使用从fivek数据集获取的不同图像。

网络结构：

1.Coarse-to-Fine Exposure Correction 由粗到细的曝光矫正
拉普拉斯金字塔：记录高斯金字塔每一级下采样后再上采样与下采样前的差异，目的是为了能够完整的恢复出每一层级的下采样前图像。

让X代表图像I 的拉普拉斯金字塔，有n个等级，这些等级可以被分类为：（i）在低等级中存储的i的全局颜色信息（ii）在中高等级中存储图像从粗到细的细节。这些级别以后可以用来构建全彩图像I。

2.Coarse-to-Fine Network 由粗到细的网络*
网络由n个子网络组成。这些子网络中的每一个子网络都是一个类似UNet结构，具有不同的权重，根据每个子问题（即全局颜色校正和细节增强）对最终结果的贡献程度分配权重。

• 处理I中的全局颜色信息（网络图黄色部分）该网络处理低频信息X（n）并产生放大图像Y（n）。放大图像的过程，使用带可训练权重的反卷积将子网络的输出放大两倍。
• 将第一个中频X（n-1）添加到Y（n）中，以供模型中的第二个子网处理。该子网络增强了当前层次的相应细节并且产生了一个残差层，该残差层被添加到Y（n）+X（n-1）上以重建图像Y（n-1），这相当于对应的高斯金字塔n-1级。此上采样过程继续进行，直到生成最终输出图像Y。

损失函数：

损失函数由三部分组成：重构损失，金字塔损失，对抗损失。

其中Lrec表示重构损失，Lpyr表示金字塔损失，Ladv表示对抗性损失。

• 重构损失：
  使用L1损失函数衡量重构图像和参考图像的差距。
  其中h和w分别表示图像的高度和宽度，p是每个像素的索引。Y：校正图像，T：相应的适当曝光的参考图像。
  
• 金字塔损失：
• 每层金字塔中都有一个损失函数，为了指导每个子网络遵循拉普拉斯金字塔重建过程。T（l）表示参考图像T高斯金字塔的第lth级上采样两倍后的图像。hl和wl分别是训练图像的拉普拉斯金字塔中第lth层的高度和宽度的两倍，p分别是在第l层Y（l）(校正图像)中的每个像素的索引，以及T（l）(正确曝光的参考图像)中的每个像素的索引。
  
  -对抗损失：
  S是 sigmoid function，D是和主网络一起训练的鉴别器DNN。

实验结果：

• 测试集：
  由5905张不同曝光设置渲染的图像组成。测试集包括3543个曝光良好/曝光过度的图像，使用+0、+1和+1.5相对曝光值EVs渲染的图像，以及2362个使用-1和-1.5相对曝光值EVs的欠曝光图像。
  评估方法：（i） 峰值信噪比（PSNR）（ii）结构相似性（SSIM）[54]，（iii）感知指数（PI）
  
• 图像定性分析
  过曝光图像增强实验结果
  
  欠曝光图像增强实验结果
  
• 图像量性分析
  （1）过曝光图像
  （2）欠曝光图像
  
  论文地址：Learning to Correct Overexposed and Underexposed Photos
  ps：作者尚未公开数据集和代码