分类-朴素贝叶斯（高斯多项式伯努利）

Posted 2022-11-26 吾仄lo咚锵

文章目录

• 简介
• 贝叶斯模型
• 朴素贝叶斯
• • 高斯朴素贝叶斯
  • 多项式朴素贝叶斯
  • 伯努利朴素贝叶斯
• 小结

简介

---

贝叶斯分类器主要思想是基于贝叶斯定理，是机器学习中重要的分类算法，适用于高维度的大数据集，速度快，准确率高，一个经典的应用场景是识别垃圾邮件。

首先需要知道一些概率论的知识：

1. 先验概率
   根据经验和分析得到的概率。
2. 条件概率
   事件B发生的前提下，事件A发生的概率。
3. 后验概率
   结果发生之后，推测原因的概率。

比如箱子里有4个小球，3个蓝色1个红色，且分别标有数字0和1：

那么我们很容易知道先验概率：
P(红)=$\frac{1}{4}$，P(蓝)=$\frac{3}{4}$
P(0)=$\frac{1}{2}$，P(1)=$\frac{1}{2}$

相应的条件概率：
P(1|蓝)=$\frac{2}{3}$，P(0|蓝)=$\frac{1}{3}$
P(1|红)=$0$，P(0|红)=$1$
比如P(1|蓝)表示抽中蓝色球的前提下，数字是1的概率。也就是3个蓝球中有两个为1。

往往困难的是后验概率的计算，比如知道结果是数字0，那导致结果（数字0）的条件（颜色）概率怎么计算？即P(蓝|0)和P(红|0)。

虽然这个例子的后验概率也能一眼看出，那假设不知道，又如何通过先验概率和条件概率进行求解呢？这就是贝叶斯定理解决的问题。

贝叶斯公式如下：
$$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$$

带入公式：
$$P(蓝|0)=\frac{P(蓝)P(0|蓝)}{P(0)}=\frac{\frac{3}{4}\cdot \frac{1}{3}}{\frac{1}{2}}=\frac{1}{2}$$
$$P(红|0)=\frac{P(红)P(0|红)}{P(0)}=\frac{\frac{1}{4}\cdot 1}{\frac{1}{2}}=\frac{1}{2}$$

对应验证图中两个数字0的球中，1个蓝色，1个红色。

贝叶斯模型

---

设特征向量$\mathbf{X}$有$n$个属性，即$\mathbf{X}=x_1,x_2,\dots ,x_n$，标签$Y$有$K$个类，记为$C_1,C_2,\dots ,C_K$，在训练样本中用极大似然法统计频率，从而学习到先验分布$P(Y=C_k),(k=1,2,...,K)$，同样也可以学习到条件分布$P(\mathbf{X}=\mathbf{x}|Y=C_k)=P(X_1=x_1,X_2=x_2,\dots ,X_n=x_n|Y=C_k)$。

对于新的测试数据$\mathbf{x}$，利用贝叶斯公式，就可求得属于第$k$个类别$C_k$的概率：
$$P(Y=C_k|\mathbf{X}=\mathbf{x})=\frac{P(Y=C_k)P(\mathbf{X}=\mathbf{x}|Y=C_k)}{P(\mathbf{X}=\mathbf{x})}$$

最后比较属于各个类别的概率$P(Y=C_k|\mathbf{X}=\mathbf{x}),(k=1,2,\dots ,K)$，将概率最大的作为预测类别。

朴素贝叶斯

---

但是上述模型中存在一个头疼的问题： P ( X 1 = x 1 , X 2 = x 2 , … , X n = x n ∣ Y = C k ) P(X_1=x_1,X_2=x_2,\\dots,X_n=x_n|Y=C_k) P(X1​=x1​,X朴素贝叶斯：朴素贝叶斯定义朴素贝叶斯公式分解朴素贝叶斯分类流程高斯型朴素贝叶斯多项式朴素贝叶斯伯努利型朴素贝叶斯朴素贝叶斯预测概率校准朴素贝叶斯优缺点

机器学习-朴素贝叶斯（高斯多项式伯努利）

朴素贝叶斯分类器（伯努利贝叶斯+高斯贝叶斯+多项式贝叶斯）

三种常用的朴素贝叶斯实现算法——高斯朴素贝叶斯伯努利朴素贝叶斯多项式朴素贝叶斯

朴素贝叶斯算法之鸢尾花特征分类机器学习伯努利分布,多项式分布,高斯分布

机器学习之朴素贝叶斯（分类）