判别式模型与生成式模型的区别

Posted 2020-08-05 马云12314

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：

对于输入x，类别标签y：
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)

产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。

判别式模型常见的主要有：

　　　　Logistic Regression

　　　　SVM

　　　　Traditional Neural Networks

　　　　Nearest Neighbor

　　　　CRF

　　　　Linear Discriminant Analysis

　　　　Boosting

　　　　Linear Regression

产生式模型常见的主要有：                    

       Gaussians

       Naive Bayes

       Mixtures of Multinomials

       Mixtures of Gaussians

       Mixtures of Experts

       HMMs

　　Sigmoidal Belief Networks, Bayesian Networks

　　Markov Random Fields

　　Latent Dirichlet Allocation

两个模型的对比