朴素贝叶斯算法（Naive Bayes）

Posted 2023-04-06

参考技术A 在介绍朴素贝叶斯算法之前，我们来看看关于统计学的一些基础知识：

贝叶斯定理需要先验知识作为支撑，而先验知识需要大量的计算和历史数据，因此在很长一段时间内，无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法进行客观判断的，而互联网时代出现的大型数据集，再加上告诉运算能力，为验证这些统计量提供了方便，也为应用贝叶斯定理创造了条件。

条件概率：

同理可得：

即：

全概率公式：

若事件  、  、…… 构成一个完备事件组即 ，且都有正概率，那么对于任意一个事件A，有如下公式

贝叶斯公式：

贝叶斯公式与全概率公式相反，是在已知 的基础上，求  。

通过对条件概率的简单变形，就可以得到贝叶斯公式：

贝叶斯公式由三部分形成，先验概率、后验概率、似然估计。其中后验概率 = 先验概率 * 似然估计。在上述公式中， 是先验概率， 是似然估计， 是后验概率。

所谓先验概率就是在事件A发生之前，我们对B事件概率的一个判断。后验概率则指的是在事件A发生之后，我们对B事件概率的重新评估。似然估计是一个调整因子或者修正参数，在我们计算事件概率的时候，需要不断通过修正参数使得我们所求的概率无限接近于真实概率。

如果似然估计   ，那么表示A事件的发生提高了B事件发生的概率。相反的，如果似然估计  ，那么表示A事件的发生降低了B事件发生的概率。

从统计学知识回到我们的数据分析。假如我们的分类模型样本是：

即我们有m个样本，每个样本有n个特征，特征输出有K个标签，定义为 。从样本我们可以学习得到朴素贝叶斯的先验分布 ，条件概率分布 ，然后我们就可以用贝叶斯公式得到 :

分析上面的式子，  =   即标签 在训练集中出现的频数。但是 是一个复杂的n个维度的条件分布，很难计算。所以为了简化计算，朴素贝叶斯模型中假设n个特征之间相互独立，于是有：

最后回到我们要解决的问题，我们的问题是给定测试集的一个新样本特征

，我们如何判断它属于哪个类型？

贝叶斯模型的目标是后验概率最大化来判断分类。我们只要计算出所有的K个条件概率

然后找出最大的条件概率对应的类别。

我们预测的类别 是使 最大的类别：

分析上式可知分母 是固定值，因此预测公式可以简化为：

接着我们利用朴素贝叶斯的独立性假设，就可以得到通常意义上的朴素贝叶斯推断公式:

在朴素贝叶斯算法中，学习意味着估计 和 。可以用极大似然估计法估计相应的概率。先验概率 的极大似然估计是：

其中 即样本中标签 出现的次数在总样本数 中的占比。

第 个特征 可能的取值集合为 ，似然函数

即 标签中，第 个特征 中各种取值的次数在 标签出现总次数中的占比。

在用极大似然估计时，可能特征 的某些取值在 标签样本中没有出现，这时似然函数为 ，同时导致目标函数为 ，这会使分类产生偏差。为解决这一问题采用贝叶斯估计：

其中 是 标签中第 个特征不重复数值的个数。当 是就是极大似然估计，当 时，称为拉普拉斯平滑。同样，先验概率的贝叶斯估计是:

https://bigquant.com/community/t/topic/126054

小伙伴们如果觉得文章还行的请点个赞呦！！同时觉得文章哪里有问题的可以评论一下  谢谢你！

贝叶斯分类算法（下）：低调朴素的Naive Bayes

分类，是生物信息分析过程中的重要环节。前段时间在《》中，和大家分享了贝叶斯分类算法的基础，即贝叶斯定理。今天，我们将通过实例来讨论贝叶斯分类中最简单的一种算法——朴素贝叶斯分类。

一、 朴素贝叶斯分类的思想基础

朴素贝叶斯分类是一种十分简单的分类算法，叫它“朴素”贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：

对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。

二、朴素贝叶斯分类的定义

1、设x = {a₁, a₂,…, a_m}为一个待分类项，而每个a为x的一个特征属性。

2、有类别集合C = {y₁, y₂,…, y_n}。

3、计算P(y₁|x), P(y₂|x), …, P(y_n|x)。

4、如果P(y_k|x) = max{P(y₁|x), P(y₂|x), …, P(y_n|x)}，则x∈y_k。

     

三、朴素贝叶斯分类的分析流程

那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：

① 找到一个已知分类的待分类项集合，这个集合叫做训练样本集。

② 统计得到在各类别下各个特征属性的条件概率估计。即P(a₁|y₁),P(a₂|y₁), …, P(a_m|y₁); P(a₁|y₂), P(a₂|y₂), …, P(a_m|y₂); …; P(a₁|y_n), P(a₂|y_n), …, P(a_m|y_n)。

③ 如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：

因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：

根据上述分析，朴素贝叶斯分类的流程可以由下图表示（暂时不考虑验证）：

可以看到，整个朴素贝叶斯分类分为三个阶段：

第一阶段——准备工作阶段

这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。

第二阶段——分类器训练阶段

这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。

第三阶段——应用阶段

这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。

 

四、估计类别下特征属性划分的条件概率及Laplace校准

由上文看出，计算各个划分的条件概率P(a|y)是朴素贝叶斯分类的关键性步骤，当特征属性为离散值时，只要很方便的统计训练样本中各个划分在每个类别中出现的频率即可用来估计P(a|y)，下面重点讨论特征属性是连续值的情况。

当特征属性为连续值时，通常假定其值服从高斯分布（也称正态分布）。即：

而

因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，代入上述公式即可得到需要的估计值。均值与标准差的计算在此不再赘述。

另一个需要讨论的问题就是当P(a|y)=0怎么办，当某个类别下某个特征项划分没有出现时，就是产生这种现象，这会令分类器质量大大降低。为了解决这个问题，我们引入Laplace校准，它的思想非常简单，就是对没类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0的尴尬局面。

相关文章

>>>

>>> 

>>>

>>> 

>>> 

>>> 

供稿：范芳芳

编辑：王丽燕