机器学习模型朴素贝叶斯

Posted 2021-02-05 suifengpiaoshan

一、啥是贝叶斯公式

   1、公式定义：

       贝叶斯公式是由英国数学家贝叶斯发展，用来描述两个条件概率之间的关系，比如P(A|B)和P(B|A)。

       按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)，即为贝叶斯公式

       假设B是由相互独立的事件组成的概率空间{B1,b2，...bn}。则P(A)可以用全概率公式展开：P(A)=P （A|B1)P(B1)+P（A|B2)P(B2)+..P（A|Bn)P(Bn)。

       贝叶斯公式表示成：  P(Bi|A)=P(A|Bi)P(Bi)/(P(A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn))；

       常常把P(Bi|A)称作后验概率，而P（A|Bn)P(Bn)为先验概率。而P(Bi)又叫做基础概率。

       贝叶斯公式可表示为：

                               

 

   2、公式进一步描述：

       事件A在事件B的条件下的概率，与事件B在事件A下的概率是不一样的，贝叶斯法则针对这两者的关系有了明确的陈述。 

       贝叶斯公式是关于随机事件A和B的条件概率和边缘概率的

       在贝叶斯公式中，每个名词都有约定俗成的名称：

       Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

       Pr(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。

       Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。

       Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

       按这些术语，贝叶斯法则可表述为：

       后验概率 = (似然度 * 先验概率)/标准化常量 也就是说，后验概率与先验概率和似然度的乘积成正比。

        另外，比例Pr(B|A)/Pr(B)也有时被称作标准似然度（standardised likelihood），Bayes法则可表述为：

       后验概率 = 标准似然度 * 先验概率