生成模型和判别模型

Posted 2020-10-01 _1024

1、定义：

生成模型（或称产生式模型）和判别模型（或称判别式模型）的本质区别在于模型中观测序列x和状态序列y的决定关系。前者假设y决定x，后者假设x决定y。

2、生成模型特点

2.1、生成模型以“状态序列y按照一定的规律生成观察输入序列x”为假设，针对联合分布p(x,y)建模，通过估计生成概率最大的生成序列来估计y。

2.2、生成模型是所有变量的全概率模型，因此可以模拟所有变量的值。

2.3、有严格的独立性假设，特征是事先给定的，并且特征之间的关系比较清楚，模型可以通过增量学习获得。可以用于数据不完整的情况。

2.4、弱点是推导和学习比较复杂。

2.5、常见的生成模型有：n-gram，HMM，NB等

2.6、收敛速度快（《统计学习方法》李航）

3、判别模型特点

3.1、y由x决定，直接使用p(y|x)建模；特征任意给定，通过函数表示。

3.2、优点：处理多类问题或分辨某一类问题与其他类之间的差异是比较灵活，模型简单，容易学习。

3.3、缺点：描述能力有限；变量之间的关系不清楚；大多数都是有监督模型，不能推广到无监督。

3.4、代表：ME(LR)，CRF、SVM、MEMM、感知机。

3.5、准确度高（《统计学习方法》李航）