每周CV论文推荐基于GAN的图像修复值得阅读的文章

Posted 2022-11-05

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

图像修复（补全）是一个非常基础的图像处理领域，也是一个难度较大的方向，随着生成对抗网络技术的成熟，基于GAN的图像修复在传统方法的基础上取得了非常大的进展，本次我们来简单给大家推荐一些初学者值得关注的工作。

作者&编辑 | 言有三

1 基本模型

由于GAN模型拥有很好的图像生成能力，对于需要修复的部位，直接使用GAN模型进行学习，通过对抗损失来约束生成比较真实的结果，Context encoders及其改进GLCIC模型就是最基本的模型，是研究基于GAN的图像修复问题必读的初级论文。

文章引用量：6000+

推荐指数：✦✦✦✦✦

[1] Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: Feature learning by inpainting[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2536-2544.

[2] Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.

2 注意力模型

在图像修复领域中，不管是传统方法还是基于深度学习模型的方法，上下文信息都是非常重要的，因为待修复区域内容是完全缺失的，必须从未缺失区域中采集信息进行补全，注意力机制可以得到很好的应用。

文章引用量：1700+

推荐指数：✦✦✦✦✧

[3] Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 5505-5514.

3 条件监督模型

由于图像修复问题本身难度较大，尤其是对于缺失区域面积较大的内容很难补全，如果有额外的信息监督，将有利于生成结果的稳定性，比如目标的边缘轮廓，或者其他确定性的语义信息，如人脸的关键点。

文章引用量：1500+

推荐指数：✦✦✦✦✦

[4] Yu J, Lin Z, Yang J, et al. Free-form image inpainting with gated convolution[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 4471-4480. 

[5] Xiong W, Yu J, Lin Z, et al. Foreground-aware image inpainting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 5840-5848.

[6] Nazeri K, Ng E, Joseph T, et al. Edgeconnect: Structure guided image inpainting using edge prediction[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. 2019: 0-0.

4 图像修复应用

图像修复的应用非常广泛，从水印去除，到照片的刮痕、异物、反光遮挡等信息去除，甚至于阴影去除，凡是在图中有不想要的目标，都可以使用图像修复方法进行去除，因此尽管图像修复问题比较难，研究的热度也一直不低。

文章引用量：200+

推荐指数：✦✦✦✦✧

[7] Ding B, Long C, Zhang L, et al. Argan: Attentive recurrent generative adversarial network for shadow detection and removal[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 10213-10222.

[8] Wan Z, Zhang B, Chen D, et al. Bringing old photos back to life[C]//proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 2747-2757.

5 如何实战

为了帮助大家掌握基于GAN的图像修复问题！我们推出了相关的专栏课程《深度学习之图像增强GAN：理论与实践》，全面讲解基于GAN的图像降噪、色调映射、去模糊、超分辨、修复等问题，感兴趣可以进一步阅读：

•