序列标注常用模型CRFHMMMEMM简介及比对

Posted 2021-09-04 Data+Science+Insight

序列标注常用模型CRF、HMM、MEMM简介及比对

隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。
生成式模型：联合概率P(Y, X) = P(Y|X) * P(X)=P(X|Y)*P(Y)
判别式模型：条件概率P(Y|X) = P(X|Y) / P(X)
从机器学习视角来看贝叶斯，假设分类问题中X可以理解为某特征，Y理解为某类。

P(“属于某类”|“具有某特征”)=在已知某样本“具有某特征”的条件下，该样本“属于某类”的概率。
P(“具有某特征”|“属于某类”)=在已知某样本“属于某类”的条件下，该样本“具有某特征”的概率。 所以叫做『后验概率』。
P(“属于某类”)=（在未知某样本具有该“具有某特征”的条件下，）该样本“属于某类”的概率。
P(“具有某特征”)= (在未知某样本“属于某类”的条件下，)该样本“具有某特征”的概率。所以叫做『先验概率』。

1）HMM是有向图模型，是生成模型；HMM有两个假设：一阶马尔科夫假设和观测独立性假设；但对于序列标注问题不仅和单个词相关，而且和观察序列的长度，单词