PyTorch笔记 - Diffusion Model 公式推导

Posted 2023-03-03 SpikeKing

两篇相关论文：

• Deep Unsupervised Learning using Nonequilibrium Thermodynamics，Stanford University
  • 利用 非平衡热力学(Nonequilibrium Thermodynamics) 的深度无监督学习
• DDPM，Denoising Diffusion Probabilistic Models，UC Berkeley
  • 去噪的扩散概率模型

GAN，Generative Adversarial Network，生成对抗网络

Diffusion Model，扩散模型

VAE，Variational Autoencoders，变分自编码器

一、条件概率公式与高斯分布的KL散度

1. 条件概率的一般形式
2. 基于马尔科夫假设的条件概率
   • 马尔科夫分布，当前时刻的概率之与上一时刻有关，与之前的概率无关。
   • A -> B -> C，P(A,B,C) = P(C|B) P(B|A) P(A)
3. 高斯分布的KL散度公式
   • KL散度公式，均值和方差
4. 重参数化技巧，参数重整化(Reparameterization Trick)
   • N(μ,

     以上是关于PyTorch笔记 - Diffusion Model 公式推导的主要内容，如果未能解决你的问题，请参考以下文章

     PyTorch笔记 - Diffusion Model 源码开发

     Diffusion扩散模型学习1——Pytorch搭建DDPM实现图片生成

     PyTorch - Diffusion Model 公式推导

     首个中文Stable Diffusion模型开源；TPU演进十年；18个PyTorch性能优化技巧 | AI系统前沿动态...

     [论文笔记]DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation

     论文笔记：DCRNN （Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting）