论文泛读71变分自编码器

Posted 2021-06-06 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Auto-Encoding Variational Bayes》

看这一篇主要是有门课程需要讲解这方面的知识，算是一个补充的了解叭。

一、摘要

在存在具有难以处理的后验分布的连续潜变量和大数据集的情况下，我们如何在有向概率模型中执行有效的推理和学习？我们引入了一种随机变分推理和学习算法，该算法适用于大型数据集，在一些温和的可微条件下，甚至适用于棘手的情况。我们的贡献是双重的。首先，我们证明了变分下界的重新参数化产生了一个下界估计量，它可以用标准的随机梯度方法直接优化。其次，我们证明了对于每个数据点具有连续潜在变量的i.i.d .数据集，通过使用所提出的下界估计器将近似推理模型(也称为识别模型)拟合到难以处理的后验，可以使后验推理特别有效。理论上的优势体现在实验结果上。

二、结论

我们引入了一个新的变分下界估计量——随机梯度，用于连续潜变量的有效近似推理。所提出的估计器可以直接使用标准随机梯度方法进行区分和优化。对于身份识别数据集和每个数据点的连续潜在变量的情况，我们介绍了一种有效的推理和学习算法——自动编码VB (AEVB)，它使用SGVB估计器学习近似推理模型。理论上的优势体现在实验结果中。

三、模型

四、实验

• 根据数值类型，连续的使用高斯分布，二值使用伯努利分布
• 重参数化：一个有效的随机变分推断算法，用于学习指数族近似分布的自然参数。