渐进结构—条件生成对抗网络（PSGAN）

Posted 2020-11-05 小河沟大河沟

 

• Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks，即用PSGAN生成高分辨率的全身动画。据了解，DeNA的业务涵盖社交游戏、电子商务等领域，此前公司推出的手游《忍者天下》也在中国市场取得了骄人的成绩。昔日忍者化身换装暖暖，DeNA想用GAN做些什么呢？

摘要

本文提出了一种渐进结构—条件生成对抗网络（PSGAN），它是一个能基于姿态信息生成全身的高分辨率图像的新框架。

近年来，许多人都研究过用深度生成模型自动生成图像和视频，这项技术对媒体创建工具来说很有帮助，它可以被用来进行图片编辑、动画制作甚至是电影制作。

就动漫产业角度看，一个能自动生成动画角色的神经网络不仅能为创作者带来诸多灵感，它还能为整个产业节省作画上巨额开支。现在我们已经有了能生成人物脸部图像的GAN，但还没有能生成角色全身图的工具。而且就这些生成脸部图像的神经网络来说，它们的图像质量还达不到工业级作画标准。

因此，开发一个既能生成全身图像，又能生成高质量姿态的GAN将对制作新角色、绘制新动漫大有裨益。但达成这个目标还有两大难点：（1）生成高分辨率图像；（2）用特定的姿态序列生成图像。

为了解决上述问题，我们引入PSGAN，它能根据结构信息，在训练过程中逐步提高生成图像的分辨率，以此细化图像在结构上的细节特征，如生成对象的全身图。同时，我们也在网络上添加了任意的潜在变量和结构条件，让它能基于目标姿势序列生成多样化和可控制的动作视频。

 

• 一种可生成高分辨率全身动画的GAN