具有外内学习和单色瓶颈的图像修复 | 两阶段渐进式图像修复示例❤️CVPR 2021❤️

Posted 2021-11-03 墨理学AI

• 🥇 版权: 本文由【墨理学AI】原创、在CSDN首发、如需转载，请联系博主
• ❤️ 如果文章对你有帮助、欢迎一键三连

• 🍖 该博文旨在大话图像修复，仅对该论文工作展开简单引入

文章目录

• • 📔 基础信息
  • 📕 环境搭建
  • 📗 源码测试
  • • • 🟧 第一阶段：Colorization
      • 🟨 第二阶段：Reconstruction
  • 📘 该论文效果图
  • • • 🔴 目标移除
      • 🔵 不规则 Mask 修复
      • 🟣 用户指导修复
  • 🚀🚀 文末专栏推荐部分 🚀🚀
  • ❤️ 人生苦短， 快和墨理一起学AI 💜

---

📔 基础信息

---

• Image Inpainting with External-internal Learning and Monochromic Bottleneck
• 具有外内学习和单色瓶颈的图像修复
• https://github.com/Tengfei-Wang/external-internal-inpainting
• https://arxiv.org/abs/2104.09068

摘要翻译

尽管最近的修复方法已经证明了深度神经网络的显着改进，但在填充缺失区域时，它们仍然存在诸如钝结构和突然颜色之类的伪影。 为了解决这些问题，我们提出了一种具有单色瓶颈的外部内部修复方案，可帮助图像修复模型消除这些伪影。 在外部学习阶段，我们重建单色空间中缺失的结构和细节以减少学习维度。 在内部学习阶段，我们提出了一种新颖的内部颜色传播方法，采用渐进式学习策略来恢复一致的颜色。 大量实验表明，我们提出的方案有助于图像修复模型产生更多结构保留和视觉上引人注目的结果。

主要贡献可以总结为：

• 据我们所知，我们是第一个将外部-内部学习方法引入深度图像修复的公司。它通过对大型数据集的训练从外部学习语义知识，同时充分利用单个测试图像的内部统计数据。
• 我们设计了一个渐进式内部图像着色网络，在我们的案例中实现了出色的着色性能。
• 我们将我们提出的方法推广到几个深度修复模型，并观察到在多个数据集上的视觉质量和模型泛化能力方面的明显改进。

5. Conclusion

在本文中，我们提出了一种具有单色瓶颈的通用外部-内部学习修复方案。

它首先利用从大型数据集外部学习的语义知识重建单色，然后从单个测试图像内部恢复颜色。 与以前的方法相比，我们的方法可以产生更连贯的结构和视觉上更协调的颜色。

大量实验表明，我们的方法可以在几个主干模型上定性和定量地稳定改进。 我们方法的主要限制是推理速度。 由于着色需要额外的阶段，因此我们的方法比最先进的方法慢。

未来，我们计划进一步加速着色过程，并将提议的方案扩展到其他低级视觉任务，如超分辨率。

---

📕 环境搭建

---

依赖库很简洁

• Python 3.6
• Pytorch 1.6
• Numpy

pytorch 安装 建议参考 – Linux下cuda10.0 安装 Pytorch和Torchvision|简记

conda create -n torch16 python=3.6.6

conda activate torch16

# CUDA 10.1
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch

pip install pillow==5.2.0

pip install opencv-python

pip install scikit-image

pip install scipy

pip install thop

---

📗 源码测试

---

当前，该代码十分简洁，参照 官方 readMe 直接运行即可

🟧 第一阶段：Colorization

git clone https://github.com/Tengfei-Wang/external-internal-inpainting.git

cd external-internal-inpainting

conda activate torch16

Colorization 【着色方法测试命令】

python main.py  --img_path images/input2.png --gray_path images/gray2.png  --mask_path images/mask2.png  --pyramid_height 3

输出如下

starting colorization. Scale 0
starting colorization. Scale 1
starting colorization. Scale 2

最佳效果如下

该阶段源码分析如下

🟨 第二阶段：Reconstruction

盲猜：这里的意思是，着色修复后的图像，替换其它 backbones【修复网络】的输入，能够取得更佳修复效果；官方暂未做进一步衔接说明，这里也就暂不具体展开测试了；

---

点滴拙见，望大佬指点

---

📘 该论文效果图

---

对图像修复详细分类有兴趣，可简单参考如下博文

---

Image inpainting based on deep learning - A review【图像修复 2021 最新综述】

🔴 目标移除

🔵 不规则 Mask 修复

这里莫名，提到了 交叉数据集评估 ？？？

---

直接理解：在 Places2 上训练得到的模型，在 DTD 数据集 上测试应用效果

🟣 用户指导修复

---

🚀🚀 文末专栏推荐部分 🚀🚀

---

• 🎄如果感觉文章看完了不过瘾，还想更进一步，那么可以来我的其他 专栏 看一下哦~

• ❤️ 图像风格转换 —— 代码环境搭建 实战教程【关注即可阅】！
• 💜 图像修复-代码环境搭建-知识总结 实战教程 【据说还行】
• 💙 超分重建-代码环境搭建-知识总结 解秘如何让白月光更清晰【脱单神器】
• 💛 YOLO专栏，只有实战，不讲道理 图像分类【建议收藏】！

• 🎄 个人整理的 Cuda 系列 Linux 安装教程【适合小白进阶】

• 💜 ubuntu18给当前用户安装cuda11.2 图文教程 | 配置cuDNN8.1 |
• 💜 Linux服务器下给当前用户安装自己的CUDA10.0
• 💜 Linux下cuda10.0安装Pytorch和Torchvision
• 💜 Linux 可以安装多个版本的Cuda 吗 | 给我一台新的服务器，我会怎么安排 Cuda
• 💜 查看CUDA和cuDNN的版本号

---

❤️ 人生苦短， 快和墨理一起学AI 💜

---

---