朴素贝叶斯公式的理解

Posted 2021-08-10 Muskyoung研究室

朴素贝叶斯

2019.11.21

1. 引言

贝叶斯方法是一个历史悠久，有着坚实的理论基础的方法，同时处理很多问题时直接而又高效，很多高级自然语言处理模型也可以从它演化而来。因此，学习贝叶斯方法，是研究自然语言处理问题的一个非常好的切入口。

2. 贝叶斯公式

贝叶斯公式就一行：

而它其实是由以下的联合概率公式推导出来：

其中P(Y)叫做先验概率，P(X|Y)叫做后验概率，P(Y,X)叫做联合概率。

结论 P(X,Y)联合概率 ==P(Y)先验概率 ×P(x|y)后验概率

没了，贝叶斯最核心的公式就这么些。

下面是对贝叶斯的一些理解

P(x,y)联合概率，即x,y同时发生的概率。

p(x,y)联合概率，xy同时发生的概率=p(x)x发生的概率 ×   p(y|x) x条件下Y发生的概率  

p(x,y)联合概率，xy同时发生的概率=p(y)y发生的概率 ×    p(x|Y) y条件下x发生的概率 

 

以p(x,y)=p(y|x)*p(x)=p(x|y)*p(y)

在一个大的统计样本之中  p(X),p(Y),P(x|Y)  P(y|x)的概率都是可以从样本中统计得来  所以一切都变得可以计算，我们假设所有的样本 都符合这样的xy 联合分布  那么就可以计算出我们想要的结果  比如在P（Y|X) 在X特征下属于Y的概率

P（X)= x特征的总样本/ 所有样本

P(y|x)= x特征中属于Y的样本数量/x特征所有样本

P(Y) = 属于y类的样本/所有样本

p(x|y)=y类中有x特征的样本/y的总样本