机器学习-白板推导系列(三十)-生成模型(Generative Model)

Posted 2021-07-31 Paul-Huang

机器学习-白板推导系列(三十)-生成模型(Generative Model)

30.1 生成模型的定义

前面所详细描述的模型以浅层的机器学习为主。本章将承上启下引出后面深度机器学习的部分。本小节，主要讲述的是什么是生成模型，它是不是只是生成样本，生成数据？它的任务是什么？精准的定义是什么？

这个问题实际上在之前的章节中有过详细的介绍。这里更进一步总结。之前讲过的简单的生成模型，包括：

• 高斯混合分布（GMM），GMM的主要任务是聚类，属于非监督学习；
• 而监督学习中的生成模型，最简单的有朴素贝叶斯模型，主要任务是分类。
• Logistics regression(LR)模型主要是对$P(Y=1|X)$或$P(Y=0|X)$条件概率进行建模，并不关心样本$X$是什么样。

$生成模型关注点是样本分布本身，解决的问题与任务无关，对样本分布建模。$

比如:

• 简单学习中，先对$P(X,Y)$建模，然后求${\sum }_{X}P(Y|X)$来计算条件概率。
• 在无监督学习中，直接对$P(X)$建模。有时$P(X)$非常的复杂，直接对$P(X)$建模非常的困难。引入隐变量（Latent）$Z$，对$P(X,Z)$建模，然后$P(X)={\sum }_{Z}P(X|Z)$。

$生成模型关注的是样本分布本身，是对样本数据本身建模$，$所以一定和概率分布有关，往往被称之为“概率生成模型”。$

---

30.2 任务角度：监督 vs 非监督

按照任务分可以将生成模型实现的功能分成：$分类，回归，标记，降维，聚类，特征学习，密度估计，生产数据。$
$$\begin{array}{c}监督\{\begin{array}{c}概率模型\{\begin{array}{c}判别模型(P(Y|X)):LR,MEMM,CRF;\\ 生成模型:NB,MM,TM,NPM,FM;\end{array}\\ 非概率模型:PLA,SVM,KNN,TreeModel,NN.\end{array}\end{array}\text{\hspace{1em}(30.1.1)}$$
$$\begin{array}{c}监督\{\begin{array}{c}概率模型:生成模型；\\ 非概率模型:PCA,LSA,Kmean;\end{array}\end{array}\text{\hspace{1em}(30.1.2)}$$

1. 判别模型
   判别模型是对条件概率分布建模$P(Y|X)$，典型的有Logistics Regression，最大熵马尔可夫模型（MEMM），条件随机场（CRF）。

2. 非概率模型
   包括PLA，Support Vector Machines（支持向量机），KNN（K近邻网络），Tree Model，神经网络（Neural Network）。

   注意神经网络非概率模型，但是和判别模型并不是非黑即白的关系，也可以起到判别模型的作用。其大部分情况是发挥着非概率模型的作用。

3. 非监督任务

   • 非监督任务中，概率模型都是生成模型，和前文描述的监督学习中的概率模型是一样的。
   • 非概率模型包括：PCA（SVD分解），LSA（潜语义分析），K-means，Auto-encoder。

4. 生成模型
   4.1 $浅层的生成模型$
   $\text{1. Naive Bayes}$，此模型非常简单，主要是服从朴素贝叶斯假设。朴素贝叶斯假设描述的是: $样本空间各维度之间相互独立$，$P(X|Y)={\prod }_{i=1}^{p}P(x_i|Y)(x\in R^p)$。

   $\text{2. Mixture Model}$，其中的典型代表是混合高斯模型（GMM），此模型主要是用于$聚类$。模型可以简要的表示为$P(X|Z)\sim$ Gaussian Distribution.

   $\text{3. Time-series Model}$，最基础的有隐马尔可夫模型（HMM），卡曼滤波（Kalman Filter），粒子滤波（Particle Filter）。

   $\text{4. Non-Parameteric Model以上是关于机器学习-白板推导系列(三十)-生成模型(Generative Model)的主要内容，如果未能解决你的问题，请参考以下文章}$

   机器学习-白板推导系列(三十二)-变分自编码器(VAE，Variational AutoEncoder)

   机器学习-白板推导系列笔记（十九）-贝叶斯线性回归

   机器学习入门

   机器学习白板，最小二乘法，线性回归，矩阵表达

   详解核方法-背景介绍白板推导系列笔记

   详解降维-背景白板推导系列笔记