最新顶刊 TPAMI《深度学习HDR成像》综述论文

Posted 2022-01-11 人工智能博士

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最新顶刊 TPAMI《深度学习HDR成像》综述论文相关的知识，希望对你有一定的参考价值。

点上方人工智能算法与Python大数据获取更多干货

在右上方 ··· 设为星标 ★，第一时间获取资源

仅做学术分享，如有侵权，联系删除

转载于：专知

深度HDR成像方法最新综述论文，值得关注！

高动态范围(HDR)成像是一种允许广泛动态范围的曝光的技术，这在图像处理、计算机图形学和计算机视觉中很重要。近年来，利用深度学习(deep learning, DL)进行HDR成像取得了显著进展。本研究对深度HDR成像方法的最新发展进行了全面而有见地的调研和分析。我们根据(1) 输入曝光的数量/领域、(2) 学习任务的数量、(3) 新的传感器数据、(4) 新的学习策略和(5) 应用将现有的深度HDR成像方法分层和结构化地分为五类。重要的是，我们就每个类别的潜力和挑战提供建设性的讨论。此外，我们回顾了深度HDR成像的一些关键方面，如数据集和评估指标。最后，我们指出了一些有待解决的问题，并指出了未来的研究方向。

https://www.zhuanzhi.ai/paper/21f0195fc7f10bbc05b66d88ada499d9

深度学习HDR成像

高动态范围(HDR)成像是图像处理、计算机图形/视觉和摄影的一个重要领域，是一种比传统成像技术允许更大的动态范围曝光的技术。它的目标是准确地代表在真实场景中捕捉到的各种强度级别，从阳光到阴影[1]，[2]。使用HDR成像，真实世界的照明可以被捕获、存储、传输，并在各种应用中充分使用，而不需要线性化信号和处理固定值[3]。传统HDR成像主要采用专用HDR相机采集HDR图像[4]、[5]、[6]; 然而，这些相机对于一般用户来说是非常昂贵的。另一种方法是使用渲染工具从虚拟环境中创建HDR内容。然而，这种方法主要是在娱乐行业，如游戏和虚拟现实(VR)[3]，[4]，[7]。除了上述方法外，一种常见的方法是利用专门设计的算法，从低动态范围(LDR)相机捕捉的视觉内容中重建HDR图像。在这些算法中，有两种常用的方法。第一种是通过融合同一场景不同曝光时间的多个LDR图像[3]，[8]，[9]来生成HDR内容。然而，由于在不同曝光下捕捉LDR内容需要使用特定的软件/硬件技术，因此通常很难创建数据集。因此，第二种方法是从单曝光图像[10]，[11]，[12]，[13]，[14]生成HDR内容。

深度学习(Deep learning, DL)已被应用于HDR成像中。基于DL的HDR成像方法常常在各种基准数据集上实现最先进的(SOTA)性能。深度神经网络(DNN)模型是基于多种架构开发的，从卷积神经网络(CNNs)[9]、[10]、[16]到生成对抗网络(GANs)[17]、[18]、[19]。一般来说，基于SOTA - DNN的方法有五个主要方面的不同: 考虑输入LDR图像的数量和域[9]，[10]，[14]的网络设计，在多任务学习中HDR成像的目的[20]，[21]，不同的传感器被用来获得深度HDR成像[22]，[23]，[24]，新颖的学习策略[17]，[25]，[26]，和实际应用[27]，[28]，[29]。本研究对深部HDR成像方法的最新发展进行了全面和系统的综述。先前的研究[4]，[5]，[6]，[30]，[31]主要集中在传统的HDR成像算法上，特别是动态场景中的去重影方法[5]，[31]，图像和亮度域中的多次曝光融合[4]，[6]，以及用于HDR重建的基于堆栈的算法[30]。与这些现有的调研不同，本研究强调了DL的重要性，并系统全面地调查了深HDR成像的最新进展。

图1 基于深度学习的HDR成像的层次和结构分类

本研究的主要贡献有三方面: (I)我们提供了深度HDR成像方法的全面概述，包括问题定义、数据集、评估指标、分类和应用。(II)我们对深度HDR成像的最新趋势进行了层次和结构上的分析研究，并对每个类别的机遇和挑战提出了见解。(III)从整体上讨论HDR成像面临的开放挑战和问题，并明确未来的发展方向，为该领域的进一步研究提供指导。在接下来的章节中，我们将讨论和分析深度HDR成像的各个方面的最新进展。图1显示了本研究使用的结构分类和层次分类。本文的其余部分组织如下。在第2节中，我们定义了HDR成像问题、数据集和评估指标。在第3节中，我们回顾和分析了SOTA监督下的方法，包括多次曝光和单次曝光HDR成像/视频方法。第4节的重点是联合HDR成像和其他学习任务，例如，图像超分辨率。在第五节中，我们研究了使用新型相机传感器的最新深度HDR成像方法。第6节介绍使用新颖学习范式的方法，例如元学习。第7节讲述应用，接着是第8节，在那里我们讨论开放的问题和未来的方向。

未来方向与结论

基于DL的方法与现有技术的利弊。早期方法[34]，[183]，[184]的常用方法是通过优化对不同曝光的多个LDR图像进行对齐，从而生成HDR图像。然而，这些方法有两个明显的缺点。首先，他们未能处理复杂的背景和大的运动。其次，基于光流的对齐算法不能在饱和区域和遮挡区域生成新的内容。相比之下，基于dl的方法[9]，[33]，[49]更好地解决了大前景运动中产生的伪影。此外，基于DNN的光流算法可以更好地对齐LDR图像，并在饱和和遮挡区域生成新的内容。总的来说，基于DL的方法表现出了显著的性能提升。
深度HDR成像的曝光支架选择。曝光支架的选择是深HDR成像的一个重要因素。这取决于几个关键因素。第一个是场景的动态范围。曝光值(EV)决定曝光补偿，是一个用于括号的术语。
网络设计中的特征表示。在HDR成像中，特别是在多曝光HDR图像重建中，特征表示是一个重要的因素。使用注意力机制从LDR图像学习特征是常见的;然而，它需要更多的计算。
数据高效学习。深度HDR成像的一个挑战是需要大规模标记数据集来训练DNN模型。
计算高效的学习。根据我们的综述，SoTA多曝光DHR图像重建方法包括特征编码、合并和重构。编码阶段依赖于学习，利用注意力或单应性来排除失调特征;合并阶段还需要避免有害的特征。
跨任务一致性的潜力。基于多任务学习的HDR成像研究变得更加实用。对于多任务学习，现有方法大多依赖于序列学习或联合学习。然而，这些方法产生了相当大的计算成本和需要高质量的数据集。
新型传感器的潜力。在第五节中，我们回顾并分析了使用最近开发的传感器(如事件摄像机和热传感器)的深度HDR成像技术。这些传感器通常捕获具有较高HDR的场景。
GNN在HDR成像中的潜力。注意力和非局部特征聚合[33]，[75]已被证明对深度HDR成像有效。然而，这些方法仅利用相同尺度下的LDR图像的相似斑块。
对现实世界的HDR。深度HDR成像是一种实用的技术，但它仅限于现实场景。