ECCV 2022 Diffusion models最新研究成果：熵约束算法解决梯度消失问题

Posted 2022-08-09 沉迷单车的追风少年

前言：最新的ECCV 2022有很多关于扩散模型精彩的工作，今天和大家一起学习一下浙大最新的工作：用熵驱动引导扩散模型。这篇论文重点针对分类器引导扩散模型时梯度过早消失的问题，在采样过程中，引入预测分布熵作为制导消失程度的度量，提出了一种熵感知的尺度变换方法来自适应恢复条件语义制导。

由于分类器仅能对生成不完全的高阶结构图像进行容易的区分，梯度作为一种类信息引导倾向于早期消失，导致由条件生成过程崩溃为无条件生成过程。为了解决这个问题，我们从两个角度提出了两个简单而有效的方法。在采样过程中，引入预测分布熵作为制导消失程度的度量，提出了一种熵感知的尺度变换方法来自适应恢复条件语义制导。在训练阶段，我们提出熵感知优化目标，以缓解对噪声数据的过度自信预测。

问题：条件引导过早消失

图一：分类器梯度作为条件生成中的一种类别信息，能够快速收敛到0；在后续迭代中恢复了梯度引导，成功地生成了细粒度特征。

在DDPM的条件生成过程中，分类器通过对图像分类概率梯度的倒推，在迭代的早期提供高层次的语义信息，在随后的迭代中逐步强化粗粒度特征，这两者都是必不可少的。

如图1所示，噪声图像分类器的预测分