GAN+CLIP的组合成了“CG艺术家”
Posted 人工智能博士
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了GAN+CLIP的组合成了“CG艺术家”相关的知识，希望对你有一定的参考价值。
点上方人工智能算法与Python大数据获取更多干货
在右上方 ··· 设为星标 ★，第一时间获取资源
仅做学术分享，如有侵权，联系删除
转载于 ：量子位
嫌弃GAN生成的图像不够炫酷？
不需要改变数据集，只需要给CLIP下达的命令中把“虚幻引擎”几个字加上，再让CLIP去指挥GAN，图像就立马变成了高大上的CG艺术风。
文字中加入虚幻引擎这个技巧，最早由Aran Komatsuzaki发在推特上，吸引了大量CV圈的人来围观。
后来有人把这套流程发在了Colab上，网友们都玩疯了。
还可以指定成“彩色铅笔风格”
或者“吉卜力风格”：
最绝的是，加上“3D photo inpainting”竟然可以生成立体构图。
CLIP是OpenAI开发的一个负责给图像重排序的模型，它与GAN合作的方式也很简单。
先用一张平平无奇的随机图案作为种子，像这种：
像这样让CLIP算出其与文字描述的相似度打分，然后反馈给GAN，让GAN以提升分数为目标不断迭代。
AI艺术家组合就这么出现了。
除了在提示中加入风格要求之外，还可以直接告诉AI一个人名，看看在AI眼中他们长啥样。
甚至能用来猜猜那些从未露面的大佬们，比如神秘的比特币之父中本聪。
这就是AI心目中的中本聪，不管你信不信，反正我是信了。
在线试玩
VQGAN+CLIP在Colab上有很多版本，我们经过对比选择了一个加入额外优化和池化技巧，在速度和质量上都比较出色的一个（链接在文章末尾）。
第1步和第2步，按顺序执行就好。
第3步，选择使用的模型，默认的是用ImageNet训练的。
第4步设置参数，一般情况下只需要在texts里填上要生成的内容，用“|”分隔。
width和height控制生成图像的分辨率，model可以选择使用的模型（需要在第3步中下载）。
改变seed的数字可以更换随机图像种子。
另外还可以在init_image处指定一张初始图片，需要把图片上传到Colab环境里再填入链接。
比如，有人使用这样一张图片作为图像种子，开发了新玩法：生成宝可梦。
第五步执行，300*300分辨率的图迭代500次只需要几分钟。
最后，还可以把生成的过程合成为视频。
就是这么简单，快来试试吧。
在线试玩：
https://colab.research.google.com/drive/1ZAus_gn2RhTZWzOWUpPERNC0Q8OhZRTZ
VQGAN:
https://github.com/CompVis/taming-transformers
CLIP:
https://openai.com/blog/clip/
参考链接：
[1]https://twitter.com/arankomatsuzaki/status/1399471244760649729
[2]https://twitter.com/92C8301A/status/1408795789766365187
[3]https://twitter.com/ak92501
[4]https://twitter.com/casvaIuir/status/1408394829218914305
---------♥---------
声明：本内容来源网络，版权属于原作者
图片来源网络，不代表本公众号立场。如有侵权，联系删除
AI博士私人微信，还有少量空位
点个在看支持一下吧
以上是关于GAN+CLIP的组合成了“CG艺术家”的主要内容，如果未能解决你的问题，请参考以下文章