视频直接变漫画!GAN又有了新玩法|Demo+代码+论文

Posted chuangye95

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了视频直接变漫画!GAN又有了新玩法|Demo+代码+论文相关的知识,希望对你有一定的参考价值。

GAN,又有了新“玩法”。

最近,一个能够将视频直接转化成漫画的工具,引发了很大关注。

它的效果是这样的:

 

技术分享图片

 

 

Twitter上不少学者去围观,体验的效果是这样的:

 

技术分享图片

 

 

有网友评价称,“漫威感”扑面而来。

效果直逼漫威?

目前,Demo已经放出,量子位以《复仇者联盟3》中的一个片段为例,测试了一下实际效果,得到了这样的一幅图。

 

技术分享图片

 

 

画面看上去的确非常惊艳,但是……如果不看原视频,只看这个漫画,你知道它讲的是啥吗?

......

现在给出正确答案:

体验Demo时,可以自己上传视频,也可以选择YouTube中的视频。当然,他们也提供了一些样本视频,可以直接体验。

 

技术分享图片

 

 

如上图所示,在生成Demo时,还有一些选项,能够影响生成的漫画。

这些选项分别可以控制视频中帧的选择、每一帧的提取方法、图像评估方法,以及漫画的风格迁移模型。

这基本上也呈现出了项目团队的大致思路:使用基于强化学习的关键帧提取算法,提取视频中有意义且有代表性的帧,然后对关键帧进行评估,确认主要的画面之后,再进行使用GAN进行风格迁移,形成漫画风格。

 

技术分享图片

 

 

在风格迁移方面,研究团队对当前已经发表的漫画风格迁移模型进行了研究,最后基于CartoonGAN的方法,利用MS COCO数据集训练出了自己的ComixGAN模型,作为Demo中的默认模型。

上手资料齐全

这个项目,来自于波兰华沙理工大学。Demo网站提供了API接口。

 

技术分享图片

 

 

GitHub上也有源代码。

 

技术分享图片

 

 

当然,论文也出来了。

 

技术分享图片

 

 

不过,特别吐槽的一点是,这个Demo网站不稳定到让人吐血,动不动就崩溃,有些时候直接罢工。

以上是关于视频直接变漫画!GAN又有了新玩法|Demo+代码+论文的主要内容,如果未能解决你的问题,请参考以下文章

铂乐原创:LA运动新玩法 Sandbox or Pounding!

“空气洗”再迎迭代,模仿者又有了新目标

珀斯水上运动新玩法,自从有了SUP paddleboarding,日落海岸真的变了样!

“众所周知,视频不能P”,GAN:是吗?

一张自拍变6种风格漫画,视频也支持,全程稳定不“掉线”,这个AI不到一天狂揽1800赞...

“戒毒”回归本真?