深度学习：生成模型

Posted 2021-03-03 liuxiangyan

一、引入

最开始知道生成模型和判别模型，是在李航的统计学习方法里，当时的理解是：生成模型，就是同时考虑了X和Y的随机性，也就是说二者都是随机变量；判别模型，就是只考虑了Y的随机性，而X并不是个随机变量，即使X存在于条件中，但是并没有p(x)这种说法。当时同时也知道了，朴素贝叶斯和隐马尔可夫都是生成模型，最主要的原因就是在这两个模型中涉及到的变量都是随机变量。生成模型可以转变成判别模型，也就是生成模型由于考虑的都是随机变量，可以通过条件概率公式计算出条件概率；反之不行，因为判别模型无法描述联合概率分布。

后来又在学深度学习的时候看到了生成模型，好像对生成模型的理解又加深了一些。

二、概念

生成模型是根据一些已经观测到的样本点，学习一个参数化模型，来近似这些样本所符合的真实分布。可以用这个学习到的模型来生成一些新样本，使得这些样本是符合真实分布的。所以生成模型有两个基本用处：一个是概率密度估计，一个是采样。