4.朴素贝叶斯法

Posted 2021-03-13 xutianlun

朴素贝叶斯（naive Bayes） 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集， 首先基于特征条件独立假设学习输入/输出的联合概率分布； 然后基于此模型， 对给定的输入x， 利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯法实现简单， 学习与预测的效率都很高， 是一种常用的方法。

1. 朴素贝叶斯法的学习与分类
基本方法
训练数据集：

由X和Y的联合概率分布P(X,Y)独立同分布产生
朴素贝叶斯通过训练数据集学习联合概率分布P(X,Y) ，
      即先验概率分布：

      及条件概率分布：

注意： 条件概率为指数级别的参数：

条件独立性假设：

“朴素” 贝叶斯名字由来， 牺牲分类准确性。
贝叶斯定理：

代入上式：

这是朴素贝叶斯法分类的基本公式。 于是， 朴素贝叶斯分类器可表示为

分母对所有ck都相同：

后验概率最大化的含义
朴素贝叶斯法将实例分到后验概率最大的类中， 等价于期望风险最小化，
假设选择0-1损失函数： f(X)为决策函数

期望风险函数：

取条件期望：

只需对X=x逐个极小化， 得：

推导出后验概率最大化准则：

 

2. 朴素贝叶斯法的参数估计
应用极大似然估计法估计相应的概率，先验概率P(Y=ck)的极大似然估计是：

设第j个特征x(j)可能取值的集合为：

条件概率的极大似然估计：

 

学习与分类算法Naïve Bayes Algorithm：
输入：
  训练数据集：，其中

 第i个样本的第j个特征，，

是第j个特征可能取的第l个值，j＝1,2,…,n， l＝1,2,…,Sj， yi?{c1， c2,…,cK}。

输出：
  x的分类

步骤：

（1） 计算先验概率及条件概率

           

（2） 对于给定的实例x＝(x(1),x(2),…,x(n))T， 计算

 

（3） 确定实例x的类