华人打造二次元老婆生成器!尔康容嬷嬷成萌妹,图像视频都能变 | Demo可玩

Posted 程序员大咖

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了华人打造二次元老婆生成器!尔康容嬷嬷成萌妹,图像视频都能变 | Demo可玩相关的知识,希望对你有一定的参考价值。

????????关注后回复 “进群” ,拉你进程序员交流群????????

杨净 发自 凹非寺
量子位 报道 | 公众号 QbitAI

当你的女朋友变身二次元,是什么样子?

小声说:没有女朋友。

搞错了,再来!

你下一个二次元老婆,可能是真人生成的!

即便是容嬷嬷本嬷,也能瞬间变温婉~

还有辣个清秀的尔康,也瞬间变身短发萌妹。

只需一张照片、甚至视频就可以生成二次元老婆。

不管是萝莉风、御姐风、甚至女王风,统统都可以!

对此有网友评论道:我的生活完整了。

如何实现?

这样一个生成器,叫做GANs N’ Roses,以下就简称GNR。

嗯?跟Guns N’ Roses (枪炮玫瑰)有什么关系。

按照论文标题所言,要比以往的图像转换技术更稳健、更可控,以及更多样。

GNR,由一个编码器和解码器组成。

编码器将图像分解为内容代码c和风格代码s,解码器接收一个内容码和一个样式码,产生相应的图像。

运行时,把图像传给编码器,保留产生的内容代码,获得一些其他相关的风格代码,然后把这对代码传给解码器。

那具体什么才是内容、以及风格?GNR的关键思路,是将内容定义为事物的位置,风格定义为为它们的样子。

就像这样。即使是同一种风格,也有不同的演绎。

对于一个特定的风格码,包括眼睛、下巴、鼻子、头发颜色等细节,都有很强的一致性。

但就像头部倾斜度、脸部形状、发型等细节,则是由内容码控制的。

损失函数总共有三类:风格一致性损失、循环一致性损失、多样性判别器和对抗损失。

与其他SOTA框架对比,GNR在多样性、图像质量等多个指标上都有明显的改进。

直接放图来比较,则更为明显。

最后,研究人员发现,在没有额外训练的情况下,GNR对于视频之间的转换也同样适合。

目前,GNR已经在GitHub开源,并上线了Demo试玩链接。

我试了试,似乎目前只有一种风格。

但依然挡不住网友直呼:So cool!

团队成员

团队成员均来自美国伊利诺伊大学厄巴纳-香槟分校。

一作华人Min Jin Chong,本科从美国伊利诺伊大学毕业后,继续留校读博,此前曾在字节实习3个月。

另一位作者、他的导师David Forsyth是知名CV大牛,曾与Jean Ponce 合著的《Computer Vision:A Modern Approach》,堪称计算机视觉经典教材。

好了,感兴趣的旁友,可戳下方链接哦~

试玩链接:
https://gradio.app/g/AK391/GANsNRoses
论文链接:
https://arxiv.org/abs/2106.06561
参考链接:
[1]https://twitter.com/ak92501/status/1404614429023539201
[2]https://github.com/mchong6/GANsNRoses

-End-

最近有一些小伙伴,让我帮忙找一些 面试题 资料,于是我翻遍了收藏的 5T 资料后,汇总整理出来,可以说是程序员面试必备!所有资料都整理到网盘了,欢迎下载!

点击????卡片,关注后回复【面试题】即可获取

在看点这里好文分享给更多人↓↓

以上是关于华人打造二次元老婆生成器!尔康容嬷嬷成萌妹,图像视频都能变 | Demo可玩的主要内容,如果未能解决你的问题,请参考以下文章

机器学习系列 | 利用生成式对抗神经网络(GANs),生成二次元萌妹老婆不是梦?

Github|教你用PyTorch打造专属GAN二次元头像(附源代码)

二次元萌妹在电车上顺拐啾咪为哪般?

一个普通摄像头就让二次元老婆“活”了过来,网友:求收费

一个普通摄像头就让二次元老婆“活”了过来,网友:求收费

这只日本AI爆火:草图实时变身二次元老婆,还有512种参数可调