简单基础入门理解Denoising Diffusion Probabilistic Model，DDPM扩散模型

Posted 2022-09-21 xiongxyowo

I. 作者的话

最近非常不巧的要研究什么diffusion…然而目前网上能找到的资料完全是设计给非常熟练数学的人看的(哪怕对于许多所谓的"入门教程"，基本就是纯数学劝退教程)，对于我这种高数概率论约等于挂科的人来说根本没法看。因此希望写一篇尽量通俗易懂，在尽量避免「概率论」的情况下，能把diffusion讲明白来的文章。

由于笔者数学并不是很好，且也只是刚刚接触diffusion模型，因此本文应「只」适合于同样「数学较差」无法看懂网络上其他地方(例如X乎)教程的同学，「不」适合对diffusion有关底层数学原理动机比较熟悉的。如果存在推理描述错误，以及对本文表述有疑问之类，欢迎一同在评论区中讨论。

$\text{c◯}csdn:xiongxyowo$

---

II. 前置知识

如果后续推导中有不理解的数学定义，「回到」这里或许能找到解释。

数学符号

$y\propto x$，$y$正比于$x$，即$y$随着$x$增大而线性增大。

条件概率

$P(A\mid B)$表示事件$B$已经发生的情况下，事件$A$发生的可能性。
换在本文的语境下，就是变量$B$已知的情况下，变量$A$的取值分布。
$P(A\mid B,C)$则是一种多元条件概率，表示在$B$，$C$同时发生的情况下，$A$发生的概率。
换在本文的语境下，就是变量$B$，$C$已知确定的情况下，变量$A$的取值分布。

贝叶斯公式

$P(A\mid B)=\frac{P(B\mid A)\ast P(A)}{P(B)}$

高斯分布的概率密度函数

给定均值为$\mu$，标准差为$\sigma$，方差为${\sigma }^2$的高斯分布$\mathcal{N}(\mu ,{\sigma }^2)$，其概率密度函数为：$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}{(\frac{x-\mu }{\sigma })}^2}$。
很多时候，为了方便起见，也会写成$p(x)\propto e^{-\frac{1}{2}{(\frac{x-\mu }{\sigma })}^2}$，也就是把前面乘的常数系数$\frac{1}{\sqrt{2\pi }\sigma }$去掉了。
进一步的，为了推导方便起见，我们把$\exp (-\frac{1}{2}{(\frac{x-\mu }{\sigma })}^2)$展开，因此有$p(x)\propto \exp (-\frac{1}{2}\left(\frac{1}{{\sigma }^2}{x}^2-\frac{2\mu }{{\sigma }^2}x+\frac{{\mu }^2}{{\sigma }^2}\right))$

概率分布中分号的理解

如果对形如$q\left({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1}\right)=\mathcal{N}\left({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I}\right)$的式子感到疑惑，这篇文章提供了一种理解方法。
以上面提到的高斯分布为例，如果概率分布密度函数中的自变量不是默认的$x$而是其他，那么应该在分布记号中显式的用分号表示实际的自变量。比如实际的自变量是$x_1$而非$x$，那么高斯分布应记做$\mathcal{N}(x_1;\mu ,{\sigma }^2)$。默认不写分号的话，$\mathcal{N}(\mu ,{\sigma }^2)$等价于$\mathcal{N}(x;\mu ,{\sigma }^2)$。

高斯分布的乘法与加法

对(标准)高斯分布$\mathcal{N}(0,1)$做乘法，乘以$\sigma$，得到一个新的高斯分布，$\mathcal{N}(0,{\sigma }^2)$。
对(标准)高斯分布$\mathcal{N}(0,1)$做加法，加上$\mu$，得到一个新的高斯分布，$\mathcal{N}(\mu ,1)$。
两个高斯分布$\mathcal{N}(0,深度学习入门基础二简单理解\; Transformer$

深度学习入门基础二简单理解 Transformer

OpenCV中Denoising相关函数的简单介绍

自编码器原理以及相关算法 Basic Auto-Encoder，Regularized Auto-Encoder，Denoising Auto-Encoder

自编码器原理以及相关算法 Basic Auto-Encoder，Regularized Auto-Encoder，Denoising Auto-Encoder

从DDPM到DDIM：深入解读《Denoising Diffusion Implicit Models》