朴素贝叶斯（Naive Bayes）

Posted 2020-08-02 ooon

朴素贝叶斯算法是基于贝叶斯定理的算法，贝叶斯定理如下：

\[P(Y|X) = \frac{P(X,Y)}{P(X)} = \frac{P(Y) \cdot P(X|Y)}{P(X)}\]

朴素贝叶斯是这样执行的，假设 $X$ 为数据的特征 其中每一维度均可看做一个随机变量，即 $X_1= x_1,X_2=x_2,...,X_n = x_n$ ，$Y = y_1,....,y_k$ 为对应的类标签, 对于给定的输入 $X$ ,朴素贝叶斯是这样预测其类别 $Y$ 的：

\begin{aligned}
P(Y = y_k|X_1 = x_1,X_2=x_2,...,X_n = x_n)
&=\frac{P(X_1 = x_1,X_2=x_2,...,X_n = x_n,Y = y_k)}{\sum_i P(X_1 = x_1,X_2=x_2,...,X_n = x_n)P(Y=y_i)} \\
&=\frac{P(Y =y_k) \cdot P(X_1 = x_1,X_2=x_2,...,X_n = x_n|Y = y_k)}{P(X_1 = x_1,X_2=x_2,...,X_n = x_n)} \\
&=\frac{P(Y =y_k) \cdot \prod_iP(X_i = x_i|Y = y_k)}{P(X_1 = x_1,X_2=x_2,...,X_n = x_n)} \\
\end{aligned}

这里第倒数第二步到最后一步就利用了特征间条件独立的特性。因为对于给定输入，其分布 $P(X=x_1,x_2,...,x_n)$ 为一个定值，所以分别求出 $P(Y=y_k|X=x_1,x_2,...,x_n)$ 中所有 $P=y_i $ 的概率，取最大的一个即可。所以可以得到样本 $X$ 的 类别 $y$:

\[有= \max_{y_k}P(Y=y_k) \prod_iP(X_i|Y=y_k)\]

这里需要注意的几个问题

1) 朴素贝叶斯是一个生成模型，需要对联合概率 $P(X,Y)$ 进行建模，然后对于给定的 $X$ 求得关于模型的后验估计 $Y$ 。

2) 朴素二字的含义指的是条件独立，即在类别确定的条件下，各个特征是条件独立的。根据条件独立的特性，上式中第二行才能转到第三行。

3)上式中的 $X_i$ 指把第 $i$ 个特征看做随机变量, $x_i$ 则代表第 $i$ 个特征 ,假设第 $i$ 个特征下有 $j$ 个取值，可以用  $x_{ij}$ 来表示 

4) 注意最后一步的极大化的操作，

根据以上分析可知，对于给定的输入 X = x_1,x_2,...x_n ,要得到其分别属于 $Y = y_k , \ k = 1,....K $ 的概率，需要知道已下参数，$P(Y= y_k)$，