Deep Learning for Image Super-resolution: A Survey

Posted 2020-12-07 spore

摘要：

图像超分辨率(SR)是提高计算机视觉中图像和视频分辨率的一类重要图像处理技术。近年来，利用深度学习技术实现图像超分辨率技术取得了显著进展。在调查中，我们的目的是给出在一个系统的方式中使用深度学习方法来实现图像超分辨率的最新进展。我们可以将现有的SR技术研究大致分为三类

有监督的SR(supervised SR）、无监督的SR（unsupervised SR）和特定领域的SR（and domain-specifific SR)。

此外，我们还讨论了一些其他重要的问题，比如公开的基准数据集和性能评估指标。

最后，我们在总结这项调查时，强调了未来的几个方向和有待社会进一步解决的问题

索引词：—Image Super-resolution, Deep Learning, Convolutional Neural Networks (CNN), Generative Adversarial Nets (GAN)生成的对抗性网络

介绍：

图像的超分辨率（SR）是从低分辨率图像中恢复高分辨率图像是计算机视觉和图像处理中的重要一类图像处理技术。它具有广泛的现实应用，如医学成像，监视和安全 等等。除了提高图像感知质量，它还有助于改善其他计算机视觉任务。一般来说，这个问题非常具有挑战性，而且本质上是ill-posed的，因为总是有多个HR图像对应一个LR图像。在论文中，提出了多种经典的SR方法，包括：
基于预测的方法，

基于边缘的方法，

统计方法

基于块的方法

以及稀疏表示方法等。

近年来,随着深度学习技术的迅速发展,基于深度学习的SR模式一直在积极探索并且在不同基准的SR中达到最先进的性能，各种各样的深度学习方法已经被用于处理SR任务，从早期的基于卷积神经网络(CNN)方法到最近使用生成对抗网(GAN)前景的SR方法。总的来说，使用深度学习技术的SR算法族主要有以下几个方面的不同:不同类型的网络架构，不同类型的损失函数，不同类型的学习原则和策略等。

　　在这篇文章中，我们关于图像超分辨率与深度学习的最新进展给出了一个全面的概述。尽管已经存在一些超分辨率的论文，但是我们的工作与他们的不同，我的是基于深度学习的SR技术，而早期的大部分工作的目标是调查传统的SR算法，或一些研究主要集中于提供基于完整参考指标或人类视觉感知的定量评估。不同于现有的调查，本调查采用独特的基于深度学习的观点来系统和全面的回顾最近的SR技术的进展。

这项调查的主要贡献有三方面: 

1） 我们全面回顾了基于深度学习的图像超分辨率技术，包括问题设置、基准数据集、性能指标、一系列具有深度学习的SR方法、特定领域的SR应用等

2） 我们以层次化和结构化的方式，系统地概述了基于深度学习的SR技术的最新进展，并总结了有效SR解决方案中每个组件的优势和局限性

3） 我们讨论挑战和开放的问题，并确定新的趋势和未来的方向，为社区提供有洞察力的指导　。在接下来的章节中，我们将介绍利用深度学习实现图像超分辨率的最新进展的各个方面。