极智AI | AI 算法修复上世纪老照片还你祖辈记忆

Posted 2022-07-13 极智视界

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了极智AI | AI 算法修复上世纪老照片还你祖辈记忆相关的知识，希望对你有一定的参考价值。

欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

大家好，我是极智视界，本文介绍一下用 AI 算法修复模糊老照片的方法。

唐、宋、元、明、清，清朝 (1636 年 ~1912 年) 是中国历史上最后一个封建王朝，共传十二帝。统治者为爱新觉罗氏。从努尔哈赤建立后金起，总计 296 年；从皇太极改国号为清起，国祚 276 年。清，在你的记忆中是不是这样的：

清朝在我们的记忆中已经很遥远了，远到似乎只能从遗址、考古、鉴宝才能唤起一些场面。但现实 2022 - 1912 距今也才 110 年而已。这很容易引发思考，人活着百年后又留下了什么呢。喜欢研究历史、研究天文的人们一定了解，人类如此渺小而短暂，故如何利用好有限的一生，特别重要。

1931 年 918 事变是抗日战争的开始，那是一段不堪回首的记忆，同胞们受尽了折磨、凌辱，但中华好儿女生来倔强，于 1945 年取得抗战的完全胜利，这段红色记忆可能是这样的：

我们再来算一下 2022 - 1945 = 77 年，也才 77年，不得不感叹伟大领导人的决策给新中国带来的的发展势头，现在的和平与美好生活真的来之不易。

现代生活，科技真的让生活越来越美丽。性能越来越好的手机、清晰度越来越高的相机还有各种丰富的传感器 sensor，把我们生活的点点滴滴清晰的记录下来。清晰画面、清晰视屏、清晰语音的背后支撑，是 sensor 硬件的不断先进，是图像处理算法的不断升级。随着 AI 算法的不断进步，现在我们完全可以用 AI 算法来修复我们 “模糊的记忆” 了，而且效果还挺不错。大家可能听过 清朝的黑白录像彩色化、静态的人像眼睛一眨一眨笑起来了，这些都是 AI 的能力。

GAN 网络是一个很好玩的算法，可以做很多有趣的事情，比如：生成风格不一样的人像、人像动漫化、给你换个发型、性别互换后你会长啥样、要是你是印度人你会长啥样等等，当然也包括咱们这里的 人像去模糊。

这里我们用到了 GAN 算法，如果想要工程源码，可以点击这里自取。整个网络的架构如下：

该网络主要由两个模块组成:

(1) 去退化模块：为一个 Unet;
(2) 先验的预训练 GAN 模块：为一个 StyleGAN2;

两个模块通过基于通道分割的空间特征转换 (CS-SFT) 方式连接，去退化模块将潜在特征映射至预训练的 StyleGAN2 的潜在特征空间，多分辨率特征从粗到细地调制 StyleGAN2，损失函数除了传统的对抗损失之外，还添加了面部组件损失、身份保真损失、去退化模块重建损失。

在我们拿到工程后先进行依赖环境的安装：

# Install basicsr - https://github.com/xinntao/BasicSR
# use BasicSR for both training and inference
pip install basicsr

# Install facexlib - https://github.com/xinntao/facexlib
# use face detection and face restoration helper in the facexlib package
pip install facexlib

pip install -r requirements.txt
python setup.py develop

# If you want to enhance the background (non-face) regions with Real-ESRGAN,
# you also need to install the realesrgan package
pip install realesrgan

接着可以按 README.md 里去下载预训练权重，也可以直接如下命令：

wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

然后可以进行推理验证：

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2

其中一些传参的解释如下：

Usage: python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2 [options]...

  -h                   show this help
  -i input             Input image or folder. Default: inputs/whole_imgs
  -o output            Output folder. Default: results
  -v version           GFPGAN model version. Option: 1 | 1.2 | 1.3. Default: 1.3
  -s upscale           The final upsampling scale of the image. Default: 2
  -bg_upsampler        background upsampler. Default: realesrgan
  -bg_tile             Tile size for background sampler, 0 for no tile during testing. Default: 400
  -suffix              Suffix of the restored faces
  -only_center_face    Only restore the center face
  -aligned             Input are aligned faces
  -ext                 Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto