PyTorch - Diffusion Model 公式推导

Posted SpikeKing

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PyTorch - Diffusion Model 公式推导相关的知识，希望对你有一定的参考价值。

两篇相关论文：

  • Deep Unsupervised Learning using Nonequilibrium Thermodynamics，Stanford University
    • 利用 非平衡热力学(Nonequilibrium Thermodynamics) 的深度无监督学习
  • DDPM，Denoising Diffusion Probabilistic Models，UC Berkeley
    • 去噪的扩散概率模型

GAN，Generative Adversarial Network，生成对抗网络

Diffusion Model，扩散模型

VAE，Variational Autoencoders，变分自编码器

一、条件概率公式与高斯分布的KL散度

  1. 条件概率的一般形式
  2. 基于马尔科夫假设的条件概率
    • 马尔科夫分布，当前时刻的概率之与上一时刻有关，与之前的概率无关。
    • A -> B -> C，P(A,B,C) = P(C|B) P(B|A) P(A)
  3. 高斯分布的KL散度公式
    • KL散度公式，均值和方差
  4. 重参数化技巧，参数重整化(Reparameterization Trick)