绝代芳华！AI复原90年前梅兰芳：眉目传情，栩栩如生

Posted 2021-07-30 机器学习算法与Python学习-公众号

点击 机器学习算法与Python学习 ，选择加星标

精彩内容不迷路

---

  新智元报道  

来源：b站

近日，一段昆曲片段被AI修复还原。

原片来自1930年梅兰芳赴美演出昆曲《刺虎》。博主正是曾修复100年前老北京原声录像的up博主 @大谷Spitzer。这次，他再次用AI完成了上色、补帧、降噪等步骤，复原了90年前梅兰芳先生的风采！

珍贵影像上色修复，「亲眼」又见梅兰芳

影片开场，好莱坞华裔女演员杨秀（Soo Yong）介绍道，「梅兰芳先生扮演女性角色，但他并不是字面意思上的女性模仿者，他没有试图模仿现实生活中的女性，而是通过台词与动作，试图塑造一个理想化的女性形象。」

在她的话音中，色彩来了！

‍

‍

随后，梅兰芳先生的片段映入眼帘。

‍

他唱着「将军乃盖世英雄，皇朝栋梁……」，一颦一笑、一字一腔都是美、都是戏。

当时36岁的梅兰芳赴美国表演，这是他在早年的演出生涯中唯一在舞台上的影片资料，也是中国京剧第一次登陆美国。

色彩瑰丽的画面让我们如同亲临现场，回到了1930年代，亲眼目睹了梅兰芳先生的风采。

由于年代久远，这段影像资料最终只流传下来一分多钟的有声影像，存于南卡罗莱纳大学的胶片影像库。

多款开源工具，RIFE+国人项目GPEN重回1930

大谷介绍道，「延续上一期的技术流程，我使用了RIFE，Deep-Exemplar-based-Video-Colorization等一系列人工智能项目。结合手绘，完成了这个选段的修复。」

其中RIFE是一个实时视频插帧方案，能实现老旧影像对高帧率的需求。

另外，在此大谷还经常使用的另一个补帧项目是DAIN。

第二个他提到的项目是：Deep-Exemplar-based-Video-Colorization。

这来自一种结合了图像检索与图像着色的模型。该模型首先会从大量参照图像中检索和灰度图相似的图像，然后再将该参照图像的配色方案迁移到灰度图中，实现了非常好的着色效果。

「这次声音也用到AI技术去噪，会比原版音色更加清晰。同时还尝试了下新出的开源AI项目GPEN来进行了脸部高清增强。」

GPEN（GAN prior embedded network，GAN先验嵌入网络）是2021年的新晋开源项目，由国人打造，对亚洲人像还原效果更为出色。

结果表明，其效果明显优于最先进的严重损坏的人脸图像复原（Blind face restoration）方法。

就这样，一系列操作下来，绝绝子的梅兰芳先生戏曲表演，就完成了！

「90后全栈艺术家」大谷，用AI带你穿越时空

 

大谷1991年生于北京（30岁），获得了纽约视觉艺术学院电脑艺术硕士学位。作为一个艺术家，音乐家，程序员和独立的游戏设计师，生产力真是爆炸。

来感受一下他的作品，包括Steam游戏、原创游戏音乐、sketch手绘、动漫等等各种位面。

       

你可能听多了全栈工程师，那全栈艺术家了解一下？游戏、漫画、3D、VR、音乐样样精通，当然在开源基础上跑几个AI模型，也是手到擒来。

 

大谷除了利用这些开源的AI模型，还结合了高超的后期技巧，百年前的老北京生活、上海时装秀才能栩栩如生地出现在人们面前。

下一次，你期待谁被复原呢？

参考资料：

https://github.com/yangxy/GPEN

https://github.com/msracver/Deep-Exemplar-based-Colorization 

https://www.bilibili.com/video/BV1864y1977o/

如果对你有帮助。
请不吝点赞，点在看，谢谢