DDPM（Denoising Diffusion Probabilistic Models）
Posted 鱼只
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了DDPM（Denoising Diffusion Probabilistic Models）相关的知识，希望对你有一定的参考价值。
扩散模型包含两个过程：
①扩散过程：从左到右的过程（Data→Noise），表示对图片逐步增加噪声。
②逆扩散过程：从右到左的过程（Noise→Data），表示从高斯噪声中逐步去噪，复原出原图。
扩散过程
扩散过程可以表示为
，其中x为原图，z为添加了T次噪声后得到的图像。添加噪声的过程
因
为正太分布，所以
部分加起来也为正太分布，又因为
，所以有
在论文中设置
，T越大，
越大，噪声的权重越大
在设置好响应的
之后，前向扩散的过程也就确定了
逆扩散过程
根据式①可得
，设去噪模型为u(x)，因此考虑将模型设计为
实际处理时每个去噪重构模型的参数是一样的，t 是转换成位置编码后（详情请参考https://kexue.fm/archives/8231），直接加到残差模块上去的
损失函数为
根据公式①和②有
损失函数表示为
计算上述损失函数需要采样 4 个随机变量：
由于要采样的随机变量越多，就越难对损失函数做准确的估计，反过来说就是每次对损失函数进行估计的波动 (方差) 过大了，通过一个积分技巧来将
合并成单个正态随机变量，从而缓解一下方差大的问题。
由于正态分布的叠加性
接下来，我们反过来将用ε,ω重新表示出来
代入公式③得
现在损失函数关于ωω只是二次的，所以我们可以展开然后将它的期望直接算出来，结果是
再次省掉常数和损失函数的权重，我们得到DDPM最终所用的损失函数
原论文中的
实际上就是本文的
，所以大家的结果是完全一样的。
参考：
从DDPM到DDIM：深入解读《Denoising Diffusion Implicit Models》
前言：DDIM发表在ICRL2021上，是DDPM重要的改进之一，能显著提高DDPM的样本质量、减少采样时间，并且已经被广泛应用到现在的Diffusion Models上。这篇博客和大家一起详细解读一下DDIM，认识这一伟大的模型。
目录
以上是关于DDPM（Denoising Diffusion Probabilistic Models）的主要内容，如果未能解决你的问题，请参考以下文章
DDPM（Denoising Diffusion Probabilistic Models）
简单基础入门理解Denoising Diffusion Probabilistic Model，DDPM扩散模型
深入解读：从DDIM到Improved Denoising Diffusion Probabilistic Models
论文阅读RePaint: Inpainting using Denoising Diffusion Probabilistic Models（CVPR 2022）
论文阅读RePaint: Inpainting using Denoising Diffusion Probabilistic Models（CVPR 2022）