朴素贝叶斯：基于概率论的分类模型

Posted 2021-04-02 生信修炼手册

欢迎关注”生信修炼手册”!

朴素贝叶斯是建立在贝叶斯定理上的一种分类模型，贝叶斯定理是条件概率的一种计算方式，公式如下

通过比较不同事件发生的概率，选取概率大的事件作为最终的分类。在朴素贝叶斯中， 为了简化计算，假设各个特征之间相互独立， 这也是为何称之为"朴素"的原因。

以下列数据为例，这是一份统计早上是否出去打高尔夫的样本数据，相关的特征有4个

对于一个新的数据点，4个特征的取值分别为sunny, hot, high, false, 求该样本play golf为yes的概率, 通过贝叶斯定理计算如下

P(yes|sunny, hot, high, false) = P(sunny, hot, high, false|yes) * P(yes) / P(sunny, hot, high, false)
=P(sunny|yes) * P(hot|yes) * P(high|yes) * P(false|yes) * P(play) / (P(sunny) * P(hot) * P(high) * P(false))

此时，只需要利用输入的样本数据来计算各个概率，以sunny相关的概率为例，计算过程如下

根据大数定理，直接用样本中的频数作为概率，简单统计一下，就可以得到各个条件概率。

带入公式就可以算出具体的概率值

# P(yes|sunny, hot, high, false)

   
     
     
   

     >>> (3/9) * (2/9) * (3/9) * (6/9) * (9/14) / ((5/14) * (4/14) * (7/14) * (8/14)) 
   
以上是关于朴素贝叶斯：基于概率论的分类模型的主要内容，如果未能解决你的问题，请参考以下文章
 
 朴素贝叶斯模型——文本情感分类
 朴素贝叶斯分类——大道至简
 朴素贝叶斯法
 朴素贝叶斯以及三种常见模型推导
 “移花接木”（朴素贝叶斯分类器）
 基于概率论的分类方法：朴素贝叶斯