朴素贝叶斯法

Posted 2021-04-25 AI读书会

1.朴素贝叶斯

朴素贝叶斯法（naiveBayes）是基于贝叶斯定理和特征条件独立假设分类方法。对于给定训练集，首先基于特征条件独立性的假设，学习输入/输出联合概率（计算出先验概率和条件概率，然后求出联合概率）。然后基于此模型，给定输入x，利用贝叶斯概率定理求出最大的后验概率作为输出y。朴素贝叶斯法实现简单，学习和预测效率都很高，是一种常用的分类方法。

2.朴素贝叶斯推导过程

对于样本集：

其中m表示有m个样本，n表示有n个特征。y_i,i=1,2,..,m表示样本类别，取值为{C₁,C₂,...,C_K}

条件概率为（依据条件独立假设）：

后验概率为：

                    

将条件概率公式带入得：

上式为朴素贝叶斯分类的基本公式。于是，朴素贝叶斯分类器可表示为：

                   

由于分母对所有的C_k都是相同的，所以：       

                  

3.朴素贝叶斯法的参数估计

3.1极大似然估计

针对样本集我们可以利用极大似然估计计算出先验概率：

                

其中∑^m_i=1I(y_i=C_k)计算的是样本类别为C_k的总数。先验概率计算的是类别C_k在样本集中的频率。

                

其中第j个特征的取值可能是{a_j1,a_j2,...,a_jh}，共h个。该条件概率指的是，在样本类别为C_k的子样本集中，第j个特征取值为a_jl的样本的频率。

 

3.2贝叶斯估计

为了弥补极大似然估计中可能出现概率值为0的情况（也就是某个事件出现的次数为0）。于是使用贝叶斯估计，如下：

              

其中K为类别的个数。

              

其中S_j为特征X_j取值的个数h。

3.2朴素贝叶斯算法

（1）计算先验概率和条件概率

（2）对于给定的实例x=(x⁽¹⁾,x⁽²⁾,…x⁽ⁿ⁾)，计算：

              

（3）确定实例x的类：

             

参考资料

[1] https://www.cnblogs.com/lliuye/p/9178090.html