手把手写深度学习(10)：用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础)
Posted 沉迷单车的追风少年
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了手把手写深度学习(10)：用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础)相关的知识，希望对你有一定的参考价值。
***前言：***2017年GANs正如火如荼地发展，有CGANs、DCGANs等前辈珠玉在前，Pix2Pix GANs横空出世，在多种多模态任务上有着亮眼的表现，并且首次把U-net结构带到了深层次生成模型当中，非常有意义。本文用Pix2Pix GANs实现sketch-image这一跨模态任务。
encoder-decoder：多模态基础
现在很多多模态的任务，都是基于encoder-decoder的结构，或者attention机制。作为多模态生成任务的鼻祖，pix2pix gan的生成器使用了encoder-decoder的机制，并在此基础上，使用跳接层，改进成了一个Unet的结构，这应该是unet首次出现在生成任务中。
为什么要加入跳接层？输入和输出图像的外表面(surface appearance)应该不同而潜在的结构(underlying structure)应该相似，对于image translation的任务来说，输入和输出应该共享一些底层的信息，因此使用Unet这种跳层连接(skip connection)的方法。
从此unet变成了一种很优秀的具有生成能力的神经网络，为后面diffusion models大规
以上是关于手把手写深度学习(10)：用Pix2Pix GANs实现sketch-to-image跨模态任务(理论基础)的主要内容，如果未能解决你的问题，请参考以下文章
手把手写深度学习(11)：用Pix2Pix GANs实现sketch-to-image跨模态任务(实战演练)
手把手写深度学习(11)：用Pix2Pix GANs实现sketch-to-image跨模态任务(实战演练)