StarGAN论文及代码理解

Posted 2021-01-12 thinker-pcw

StarGAN的引入是为了解决多领域间的转换问题的，之前的CycleGAN等只能解决两个领域之间的转换，那么对于含有C个领域转换而言，需要需要C*(C-1)个模型，但StarGAN仅需要学习一个，而且效果很棒，如下：

 

创新点：为了实现可转换到多个领域，StarGAN加入了一个域的控制信息，类似于CGAN的形式。在网络结构设计上，鉴别器不仅仅需要学习鉴别样本是否真实，还需要对真实图片判断来自哪个域。

整个网络的处理流程如下：

1. 将输入图片x和目标生成域t结合喂入到生成网络G来合成fake图片
2. 将fake图片和真实图片分别喂入到鉴别器D，D需要判断图片是否真实，对于真实图片而言还需要判断它来自哪个域
3. 与CycleGAN类似，还有一个一致性约束，将生成的fake图片和原始图片的域信息s结合起来喂入到生成器G要求能输出重建出原始输入图片x

 

下面分析一下各个部分的损失函数：

第一个是GAN常见的对抗损失：