免费用Stable Diffusion「脑补」世界名画画框外世界，网友：白嫖真香

Posted 2022-10-05 QbitAl

Alex 发自 凹非寺
量子位 | 公众号 QbitAI

人人都可以免费在线试玩的“脑补”画面神器来了！

它可以打破画框的桎梏，“想象”（Outpainting）出《戴珍珠耳环的少女》的背景：

这个工具名为Stable Diffusion Infinity，是大火的AI绘图新星Stable Diffusion的一项子功能。

只需要一两句话提示，Stable Diffusion就可以画出你想要的东西，而且和已有部分衔接自然，没什么违和感。

由于其“免费可玩”，网友们纷纷竖起大拇指，有人指出：这真的很不容易。

因为先前在8月份DALL·E就干过“扩画”这种事儿了，当时不少网友献上膝盖，但DALL·E不是免费的，并且其访问权限这几天才逐步放开。

所以现在免费开源的Stable Diffusion也能扩画了，让网友们很开心。

还有人表示，这下应该可以看到戴珍珠耳环的那位少女穿上鞋的样子了。（甚至可以亲自为她穿上鞋）

Stable Diffusion新功能：Outpainting

除了“脑补”《戴珍珠耳环的少女》的背景外，还有人用Stable Diffusion来Outpainting了城市风光图。

好家伙，这直接把公园、河岸的建筑和更远处的天空给画出来了：

虽然细节有些经不起推敲，但是总体看起来还是比较和谐的。（再P一下就差不多了）

那么说到这里，通过Outpainting“脑补”出来的画面为什么和已有部分没啥违和感？

为了生成图像更自然，在Outpainting边界图片时，AI会将图像现有的视觉元素，包括阴影、反射和纹理等考虑在内。

另外，虽然在这些扩画过程中，AI起到主要作用，但是人也是不可或缺的一部分。

因为这需要人为输入一些句子或者关键词来指导AI作画。

比如，在为《戴珍珠耳环的少女》补充背景时，告诉AI某个指定区域放一张桌子，然后在墙上放一个带框的画等。

另外，在延伸上面那张“城市风光照”时，手动输入“沿着经过的河流的线性公园和河滨公园，河流和马尼拉地铁天际线的景色 ”。

（Linear park and esplanade along the passing river, view of the river and metro manila skyline）

当然这也意味着可以DIY了：如果你想加一个花瓶或者为少女穿上鞋的话，告诉AI就行。

不过，测试人员们也发现Stable Diffusion在“脑补”过程中也有翻车的时候。

例如当其绘制“草地上的一只猫”（a cat on grass）时，前面几步都很正常，但最后居然画出了一只“双头猫”……

测试者指出这应该是模块“PIL.Image”中没有属性”Resampling”，不过此问题目前只在一个人的电脑上出现过。

DALL·E也“脑补”过同一幅画

在Stable Diffusion之前，DALL·E同样也Outpainting了《戴珍珠耳环少女》，最终成品是酱婶儿滴：

所以你更喜欢DALL·E还是Stable Diffusion的作品？

对了，按Stable Diffusion的传统，用其来Outpainting的小哥已将相关代码开源在Google Colab和GitHub上了，感兴趣的友友们可以去仔细看看。

传送门：
Colab: https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb
GitHub: https://github.com/lkwq007/stablediffusion-infinity
参考链接：
[1]https://www.reddit.com/r/MachineLearning/comments/xtd8kc/p_stablediffusioninfinity_outpainting_with_stable/
[2]https://bytexd.com/how-to-use-outpainting-with-stable-diffusion-infinity-colab/