论文阅读：Bringing Old Photos Back to Life

Posted 2023-03-15

参考技术A

本篇文章来自CVPR2020，名字是Bringing Old Photos Back to Life，主要做对老照片的恢复工作。

老照片中往往包含多种瑕疵，且不同年代的照片由于摄影技术的不同，其畸变类型有着显著的差异。这使得在合成数据集上训练得到的模型难以适应于实际老照片的修复。与常见图片修复依赖配对监督信号不同，作者将老照片修复问题定义为在 三个图片域之间的转换问题 ：实际待修复的老照片X、合成图像R以及无瑕疵高质量目标域图片Y分别视为三个图片域，我们希望学习得到X-Z的映射，如下图1，中合成图片与目标域图片形成配对关系。

采用如图2所示的网络结构实现三元域图像转换。
具体来说，作者提出用两个变分自编码器（VAE）来分别得到两个隐空间 Z_X（≈Z_R）和Z_Y。第一个自编码器（VAE1）学习重建真实老图片与合成图片，并在中间用一个对抗学习的判别网络将两种输入的隐空间对齐到同一空间。 这里我们采用变分编码器而不是普通的自编码器，这是因为变分编码器假设隐空间满足高斯先验（Gaussian prior），因而图片的隐空间编码更为紧凑，两种输入域的分布更容易被拉近。

类似的，我们用第二个自编码器 VAE2 得到高质量目标图片的隐空间编码。之后，我们固定两个 VAE 的编解码器，利用合成图片与目标图片的显式配对关系（标识为红色框），学习一个额外的隐空间映射（蓝色虚线），以实现对图片的修复。

此外，我们注意到老照片的瑕疵可以归类为 局部损伤以及广泛性损伤 。局部损伤有照片破损、污渍、划痕、褶皱等等，往往照片含有内容上的损坏，需要网络利用全局语义信息来实现修复；广泛性损伤指图片模糊、胶片噪声、颜色泛黄等整张照片均匀程度受到影响，修复仅需图片局部信息。
因而，我们的隐空间修复网络采用局部-全局视野融合，其中全局支路采用 nonlocal 模块大大增强处理视野。我们对局部破损图片建立了数据集，训练网络预测破损区域，该破损区域显式的送入 nonlocal 模块，并设置模块感受野为非破损区域（论文中称为 partial nonlocal 模块 ）。

至此，网络可以像修复合成图片一样，高质量的复原实际老照片。在此方法中，我们另外抠出照片中人脸部分，在人脸数据集上训练网络进一步优化人脸的细节。

我们将该方法和先前方法在实际照片上进行了对比。如图3所示，我们的方法达到了最真实、自然、清晰的修复结果。