朴素贝叶斯分类及应用

Posted 2020-06-20 Brenda

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了朴素贝叶斯分类及应用相关的知识，希望对你有一定的参考价值。

贝叶斯学习

贝叶斯学习器事实上是从经典的贝叶斯概率公式的来的，对于经典的贝叶斯公式：

P (A | B) = P ( B | A ) P ( A ) P ( B )

$P(A|B)={P(B|A)P(A)\over{P(B)}}$
式中P(A)表示A的先验概率（即A发生的概率与B无关），P(A|B)表示A的后验概率（即在已知B发生的情况下，A发生的概率）

我们都知道贝叶斯是一个经典的求取概率的公式。那么贝叶斯又是怎么和分类相联系起来的呢？

实际上。在分类的过程中，我们要推断某样本x是否属于某类别A时。能够将这件事看成是个概率问题，即推断x属于A的可能性有多大。如果类别有n种，则仅仅需求取x分别属于每一个样本的概率有多大，概率值最大的。就可以觉得是x的所属类别。

朴素贝叶斯分类的正式定义例如以下：
1. 设 $x=\{a_1,a_2,...,a_m \}$ 为一个带分类项，当中每一个 $a$ 的为x的一个特征属性.
2. 有类别集合

$ C = {y 1, y 2, . . . y n}

$$C=\{y_1,y_2,...y_n\}$ $。

如今从定义能够看出每步并不难理解。关键时第三步中的每一个概率值怎么求取。对于单个变量，求取其概率值比較好求，可是这里的x时一个含有m个属性的变量。这样的情况下。该怎么求取其属于某类别 $y_n$ 的概率是多少呢？

以下给出求解推导：
已知我们要求取 $P(y_i|x)$ 的概率值，依据贝叶斯公式能够将其转换为例如以下形式：

P (y i | x) = P ( x | y i ) P ( y i ) P ( x )

$P(y_i|x)={P(x|y_i)P(y_i)\over{P(x)}}$
所以求取

P(yi|x) $P(y_i|x)$ 就变成了求

P(x|yi)P(yi)P(x) ${P(x|y_i)P(y_i)\over{P(x)}}$ 。

对于 $P(x|y_i)$ 。由于x含有m个属性变量。因此能够将其写成 $P(\{a_1,a_2,...,a_m\}|y_i)$ 。

对于大多数情况。x的各个属性之间都是相互独立，所以有：

P (x | y i) P (y i) = P (a 1 | y i) P (a 2 | y i) . . . P (a m | y i) 以上是关于朴素贝叶斯分类及应用的主要内容，如果未能解决你的问题，请参考以下文章 机器学习--贝叶斯分类算法及应用 朴素贝叶斯分类算法的sklearn实现 朴素贝叶斯分类算法介绍及python代码实现案例 基于TF-IDF及朴素贝叶斯的短文本分类 朴素贝叶斯算法总结 朴素贝叶斯分类和预测算法的原理及实现