多阶段渐进式图像恢复 | 去雨去噪去模糊 | 有效教程（附源码）|❤️CVPR 2021❤️

Posted 墨理学AI

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了多阶段渐进式图像恢复 | 去雨去噪去模糊 | 有效教程（附源码）|❤️CVPR 2021❤️相关的知识，希望对你有一定的参考价值。

  • 🥇 版权: 本文由【墨理学AI】原创、在CSDN首发、如需转载，请联系博主
  • ❤️ 如果文章对你有帮助、欢迎一键三连
  • 🍖 该博文旨在带你了解如何使用深度学习进行图像恢复【去雨、去噪、去模糊】，【❤️ 基准测试、实战教程 ❤️】

文章目录

📔 基础信息

一篇应用于【 去模糊、去雨、去噪 】的多阶段渐进式图像恢复论文

🔴 Abstract

图像恢复任务需要在恢复图像时在空间细节和高级上下文信息之间实现复杂的平衡。在本文中，我们提出了一种新颖的协同设计，可以最佳地平衡这些相互竞争的目标。我们的主要提议是一个多阶段架构，它逐步学习退化输入的恢复函数，从而将整个恢复过程分解为更易于管理的步骤。具体来说，我们的模型首先使用编码器-解码器架构学习上下文特征，然后将它们与保留本地信息的高分辨率分支相结合。在每个阶段，我们引入了一种新颖的每像素自适应设计，利用原位监督注意力来重新加权局部特征。这种多阶段架构的一个关键要素是不同阶段之间的信息交换。为此，我们提出了一种双向方法，其中信息不仅从早期到后期按顺序交换，而且特征处理块之间也存在横向连接以避免任何信息丢失。由此产生的紧密互连的多阶段架构称为 MPRNet，在包括图像去雨、去模糊和去噪在内的一系列任务中，在十个数据集上提供了强大的性能提升。

🔵 The main contributions

  • 一种新颖的多阶段方法，能够生成上下文丰富且空间准确的输出； 由于其多阶段性质，我们的框架将具有挑战性的图像恢复任务分解为子任务，以逐步恢复退化的图像
  • 一个有效的监督注意力模块，它在进一步传播之前在每个阶段充分利用恢复的图像来细化传入的特征
  • 跨阶段聚合多尺度特征的策略
  • 我们通过在 10 个合成和真实世界数据集上为各种恢复任务（包括图像去雨、去模糊和去噪）取得的优异效果来证明我们的 MPRNet 的有效性，同时保持低复杂度（见图 1）。 此外，我们提供详细的消融、定性结果和泛化测试。

🟣 论文实验数据集

Image Deblurring 【去模糊数据集】

Image Deraining 【去雨数据集】

  • Rain14000 [23] Rain1800 [81] Rain800 [90] 【训练】
  • Rain100H [81], Rain100L [81], Test100 [90], Test2800 [23], and Test1200 [89] 【测试】

Image Denoising 【去噪】

🟡 Conclusion

在这项工作中，我们提出了一种多阶段的图像恢复体系架构，通过在每个阶段注入监督来逐步改善退化的输入。我们为我们的设计制定指导原则，要求在多个阶段进行互补的特征处理，并在它们之间进行灵活的信息交换。为此，我们提出 contextually-enriched and spatially accurate stages ，对一组不同的特征进行统一编码。为了确保交互阶段之间的协同作用，我们提出了跨阶段的特征融合和从早期阶段到后期阶段的注意力引导输出交换。我们的模型在众多基准数据集上取得了显著的性能提升。此外，我们的模型在模型大小方面重量轻，在运行时方面效率高，这对于资源有限的设备来说非常有意义。

📕 环境搭建

  • 服务器：ubuntu1~18.04 Quadro RTX 5000 16G
  • CUDA版本 V10.0.130

基础环境搭建如下

conda create -n torch11 python=3.7.5

conda activate torch11

pip install torch==1.1.0

pip install torchvision==0.3.0

## 或者（建议使用 conda 来安装）
conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch

## 或者(根据你的 Cuda 版本来决定安装命令)
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch

pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

Install warmup scheduler 【必须步骤】

conda activate torch11

git clone https://github.com/swz30/MPRNet.git

cd MPRNet-main

cd pytorch-gradual-warmup-lr/

python setup.py install

输出如下

running install
running bdist_egg
running egg_info

...
...

Installed /home/zql/anaconda3/envs/torch11/lib/python3.6/site-packages/warmup_scheduler-0.3-py3.6.egg
Processing dependencies for warmup-scheduler==0.3
Finished processing dependencies for warmup-scheduler==0.3

📗 预训练模型和测试数据

🟧 预训练模型

🟨 设置测试数据

  • 去模糊：这里暂时使用 GOPRO_Large\\test\\GOPR0384_11_00 作为测试数据，放置在
    samples/ 目录下
  • 去雨：Rain100H/
  • 去模糊：高斯噪声 和 脉冲噪声 图像各一张 ，放置在 samples/noise/ 目录下
  • 项目，目录结构如下

  • 博文使用的测试数据集，设置如下

📘 测试

🔴 去模糊测试

python demo.py --task Deblurring --input_dir ./samples/GOPR0384_11_00/blur --result_dir ./samples/output/

输出如下

# GPU 占用 10209MiB

Files saved at ./samples/output/

输入输出对比效果

该去模糊图像和数据集中该测试图像对应的清晰图片对比【可见去模糊效果还不错】

🔵 去雨测试

cmd

python demo.py --task Deraining --input_dir ./samples/Rain100H/input/ --result_dir ./samples/Rain100H/output/

输出如下

# GPU 占用 1461MiB

Files saved at ./samples/Rain100H/output/

输入输出对比效果

🟣 去噪测试

python demo.py --task Denoising --input_dir ./samples/noise/ --result_dir ./samples/denoise

输出如下

# GPU 占用 2087MiB

Files saved at ./samples/denoise

去噪声效果如下

📙 博文运行代码+模型+测试数据分享

有序自取，感谢大佬三连

链接：https://pan.baidu.com/s/1A_ydYTxKL3qnRi1twxZ-6w 

提取码：1018

🚀🚀 文末专栏推荐 🚀🚀

  • 👋 如果感觉文章看完了不过瘾，还想更进一步，那么可以来我的其他 专栏 看一下哦~
  • 🎻 个人整理的 Cuda 系列 Linux 安装教程【适合小白进阶】
  • 🍖 深度学习、调参搬砖、开发利器【大佬必备】

❤️ 人生苦短， 欢迎和墨理一起学AI 💜

上一秒的我信誓旦旦

梦醒，洗头

以上是关于多阶段渐进式图像恢复 | 去雨去噪去模糊 | 有效教程（附源码）|❤️CVPR 2021❤️的主要内容，如果未能解决你的问题，请参考以下文章

CVPR2020｜图像重建(超分辨率，图像恢复，去雨，去雾，去模糊，去噪等)相关论文汇总（附论文链接/开源代码/解析）

pytorch: 图像恢复问题的代码实现详解(derain,dehaze,deblur,denoise等通用)

扩散模型diffusion model用于图像恢复任务详细原理 (去雨，去雾等皆可)，附实现代码

基于卷积神经网络的单图像去雨

基于LabVIEW的心音频谱分析加噪去噪

Atitit   图像处理 平滑 也称 模糊, 归一化块滤波高斯滤波中值滤波双边滤波）