朴素贝叶斯算法(Naive Bayes)

Posted huangyc

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了朴素贝叶斯算法(Naive Bayes)相关的知识,希望对你有一定的参考价值。

1. 前言

说到朴素贝叶斯算法,首先牵扯到的一个概念是判别式和生成式

  • 判别式:就是直接学习出特征输出(Y)和特征(X)之间的关系,如决策函数(Y=f(X)),或者从概率论的角度,求出条件分布(P(Y|X))。代表算法有决策树、KNN、逻辑回归、支持向量机、随机条件场CRF等
  • 生成式:就是直接找出特征输出Y和特征X的联合分布(P(X,Y)),然后用(P(Y|X)=frac{P(X,Y)}{P(X)})得出。代表算法有朴素贝叶斯、隐式马尔可夫链等。

2. 朴素贝叶斯原理

朴素贝叶斯算法基于贝叶斯定理和特征条件独立假设

  • 贝叶斯原理
  • 特征条件独立:特征条件独立假设(X)(n)个特征在类确定的条件下都是条件独立的。大大简化了计算过程,但是因为这个假设太过严格,所以会相应牺牲一定的准确率。这也是为什么称呼为朴素的原因

3. 朴素贝叶斯算法

输入:训练集为(m)个样本(n)个维度(T={(x_1,y_1),(x_2,y_2),...,(x_m,y_m)}),共有K个特征输出类别,分别为(yin{{c_1,c_2,...,c_K}}).

输出:为实例(x_{(test)})的分类。

算法流程如下:

  1. 首先计算计算(Y)(K)先验概率
    [ P(Y=c_k) ]
  2. 然后计算条件概率分布:
    [ P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k) ]
    由于上式的参数是指数级别,无法计算。所以根据特征条件独立假设,可以化简为下式。
    [ P(X=x|Y=c_k)=prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k) ]
  3. 根据贝叶斯原理,计算后验概率
    [ P(Y=c_k|X=x)=frac{P(X=x|Y=c_k)P(Y=c_k)}{sum_kP(X=x|Y=c_k)P(Y=c_k)} ]
    带入(P(X=x|Y=c_k)=prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k))
    得到
    [ P(Y=c_k|X=x)=frac{prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)P(Y=c_k)}{sum_kprod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)P(Y=c_k)} ]
    由于分母相同,上式再变为如下:
    [ P(Y=c_k|X=x)=prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)P(Y=c_k) ]
  4. 计算(X_{(test)})的类别
    [ y_{(test)}=arg max_{c_k}prod_{j=1}^nP(X^{(j)}=x_{(test)}^{(j)}|Y=c_k)P(Y=c_k) ]

从上面的计算可以看出,没有复杂的求导和矩阵运算,因此效率很高。

4. 朴素贝叶斯算法小结

朴素贝叶斯算法的主要原理基本已经做了总结,这里对朴素贝叶斯的优缺点做一个总结。

4.1 朴素贝叶斯的主要优点有:

  1. 朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率
  2. 对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。
  3. 对缺失数据不太敏感,算法也比较简单,常用于文本分类。

4.2 朴素贝叶斯的主要缺点有:   

  1. 朴素贝叶斯模型的特征条件独立假设在实际应用中往往是不成立的
  2. 如果样本数据分布不能很好的代表样本空间分布,那先验概率容易测不准。
  3. 对输入数据的表达形式很敏感。











以上是关于朴素贝叶斯算法(Naive Bayes)的主要内容,如果未能解决你的问题,请参考以下文章

贝叶斯分类算法(下):低调朴素的Naive Bayes

数据挖掘十大经典算法(1)——朴素贝叶斯(Naive Bayes)

手写算法实现 之 朴素贝叶斯 Naive Bayes 篇

手写算法实现 之 朴素贝叶斯 Naive Bayes 篇

干货|非常通俗的朴素贝叶斯算法(Naive Bayes)

第10天:NLP补充——朴素贝叶斯(Naive-Bayes)