大谷新作,AI复原泰戈尔:世界以痛吻我,要我报之以歌

Posted 程序员的店小二

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大谷新作,AI复原泰戈尔:世界以痛吻我,要我报之以歌相关的知识,希望对你有一定的参考价值。

下一次,你期待谁被复原呢?

AI修复,给大诗人泰戈尔上色。近日,一段泰戈尔1930年演讲珍贵影像被AI修复还原,上色后的泰戈尔还真比想象中白了不少。

当近百年前的黑白影像披上了色彩,它的历史意义会不会多一层呢?

近日,一段泰戈尔1930年演讲珍贵影像被AI修复还原。

 

原片来自南卡罗莱纳大学胶片影像库MIRC。

这是一段泰戈尔1930年5月5日在巴黎对美国的演讲,也是泰戈尔现存仅有的几段有声影像之一。

「上色」后的泰戈尔还真比想象中白了不少。

网友调侃道,「泰戈尔这口英语是咖喱味儿吗」

英语虽是咖喱味儿的,却丝毫不影响我看得津津有味儿。

世界以痛吻我,要我报之以歌


泰戈尔说:「世界各国之间的距离,无时无刻在缩小。」

 

我想说,感谢AI, 我和您的距离也在缩小。一百年后的迷弟迷妹们, 也能够看到「太爷爷」的音

容笑貌,不得不说是AI在鼓励我挥起魔法棒。

不愧是伟大诗人,深邃眼眸带着锐利眼神,冉冉长须,一袭长袍风中飘飘,是不是时不时散发着

文青专属的飘飘仙气呢?

不愧是伟大诗人,他的一言一语,都无不透露着,他对世界大地爱得是那般深沉!

 

视频末,大谷还将泰戈尔全家福照片进行了上色,简直栩栩如生。

 

那这个视频的修复,背后究竟使用了怎样的技术呢?

多款开源工具,RIFE+国人项目GPEN重回1930

大谷介绍道,「延续上一期的技术流程,我使用了RIFE,Deep-Exemplar-based-Video-Colorization,GPEN等一系列人工智能项目。声音我也做了一下修复处理。」

其中RIFE是一个实时视频插帧方案,能实现老旧影像对高帧率的需求。

另外,在此大谷还经常使用的另一个补帧项目是DAIN。

第二个他提到的项目是:Deep-Exemplar-based-Video-Colorization。

这来自一种结合了图像检索与图像着色的模型。该模型首先会从大量参照图像中检索和灰度图相似的图像,然后再将该参照图像的配色方案迁移到灰度图中,实现了非常好的着色效果。

GPEN(GAN prior embedded network,GAN先验嵌入网络)是2021年的新晋开源项目,由国人打造,对亚洲人像还原效果更为出色。

结果表明,其效果明显优于最先进的严重损坏的人脸图像复原(Blind face restoration)方法。

还有DeOldify:DeOldify 使用了NoGAN 进行训练,NoGAN对于获得稳定和丰富多彩的图像是至关重要的。

NoGAN 训练结合了 GAN (美妙的着色)的好处,同时消除了副作用(如视频中的闪烁对象)。

视频渲染使用孤立的图像生成,没有天际任何时间建模。

大谷除了利用这些开源的AI模型,还结合了高超的后期技巧,百年前的老北京生活、上海时装秀才能栩栩如生地出现在人们面前。

下一次,你期待谁被复原呢?

参考资料:https://b23.tv/NQhcCm

本文来自微信公众号“新智元”

以上是关于大谷新作,AI复原泰戈尔:世界以痛吻我,要我报之以歌的主要内容,如果未能解决你的问题,请参考以下文章

体重18公斤北航新生报到!高考645分,立志改变世界“做中国的霍金”

Python后端技术栈

B站大谷新作:10天用AI画了一首爱情MV!瑰丽玄妙,宛如梦境

B站大谷新作:10天用AI画了一首爱情MV!瑰丽玄妙,宛如梦境

B站大谷新作:10天用AI画了一首爱情MV!瑰丽玄妙,宛如梦境

大数据杀熟:我投之以元宝,它报之以砍刀!