概率图模型

Posted 2022-04-30 guohaoblog

概率图模型构建了这样一幅图，用观测节点表示观测到的数据，用隐含节点表示潜在的知识，用边来描述知识与数据的相互关系，最后基于这样的关系图获得一个概率分布，非常“优雅”地解决的问题。

 

概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等。主要在NLP领域用的较为广泛

 

1 概率图模型额联合概率分布

团：如果在X=x1,x2,...,xn所构成的子集中，任意两点之间都存在边相连，则这个子集中的所有节点构成了一个团

本模块涉及到的两道题属于概率论题，详见P118-119

 

2 概率图表示

Q1：解释朴素贝叶斯模型的原理，并给出概率图模型的表示。

A1：P121

Q2：解释最大熵模型的原理，并给出概率图模型表示。

A2：熵就是不确定性的度量，熵越大，不确定性也就越大。最大熵原理是概率模型学习的一个准则，指导思想实在满足约束条件的模型集合中选取熵最大的模型，即不确定性最大的模型。  后续原理见P122-124

 

3 生成式模型与判别式模型

Q1：常见的概率图模型中，哪些是生成式模型，哪些是判别式模型？

A1：生成式模型是对联合概率分布P(X,Y,Z)进行建模，在给定观测集合X的条件下，通过计算边缘分布来得到对变量集合Y的推断。

　　判别式模型是直接对条件概率分布P(X,Y,Z)进行建模，然后消掉无关变量Z就可以得到对变量集合Y的预测。

　　常见的概率图模型有朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔科夫模型、条件随机场、pLSA、LDA（线性判别分析）等

　　生成式模型有：朴素贝叶斯、贝叶斯网络、隐马尔科夫模型、pLSA、LDA（线性判别分析）

　　判别式模型有：最大熵模型、条件随机场等。

 

4 马尔可夫模型

关于概念参考https://blog.csdn.net/maverick17/article/details/79574917

5 主题模型

参考 https://blog.csdn.net/qq_39422642/article/details/78730662

这两节都讲的设计NLP领域的机器学习方法。比较复杂，本人暂时未涉及到，这块 暂时放一放。