手把手写深度学习(10):用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础)

Posted 沉迷单车的追风少年

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了手把手写深度学习(10):用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础)相关的知识,希望对你有一定的参考价值。

***前言:***2017年GANs正如火如荼地发展,有CGANs、DCGANs等前辈珠玉在前,Pix2Pix GANs横空出世,在多种多模态任务上有着亮眼的表现,并且首次把U-net结构带到了深层次生成模型当中,非常有意义。本文用Pix2Pix GANs实现sketch-image这一跨模态任务。

encoder-decoder:多模态基础

现在很多多模态的任务,都是基于encoder-decoder的结构,或者attention机制。作为多模态生成任务的鼻祖,pix2pix gan的生成器使用了encoder-decoder的机制,并在此基础上,使用跳接层,改进成了一个Unet的结构,这应该是unet首次出现在生成任务中。
为什么要加入跳接层?输入和输出图像的外表面(surface appearance)应该不同而潜在的结构(underlying structure)应该相似,对于image translation的任务来说,输入和输出应该共享一些底层的信息,因此使用Unet这种跳层连接(skip connection)的方法。
从此unet变成了一种很优秀的具有生成能力的神经网络,为后面diffusion models大规

以上是关于手把手写深度学习(10):用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础)的主要内容,如果未能解决你的问题,请参考以下文章

手把手写深度学习(11):用Pix2Pix GANs实现sketch-to-image跨模态任务(实战演练)

手把手写深度学习(11):用Pix2Pix GANs实现sketch-to-image跨模态任务(实战演练)

手把手写深度学习:用GANs生成手写数字

手把手写深度学习:用GANs生成手写数字

Pytorch深度学习50篇·······第七篇:GAN生成对抗网络---PIX2PIX

手把手写深度学习:十大GANs之conditional GANs