4-1 朴素贝叶斯 模型公式的推导

Posted 2022-03-12 windmissing

假设A和B是两个事件，根据贝叶斯公式：
$$P(A|B)\ast P(B)=P(A,B)=P(B|A)P(A)$$
又假如在这两个事件中，我们关注的是事件A，那么称：
P(A)为先验概率，即A发生的概率
P(B|A)为条件概率
P(A|B)为后验概率
根据先验概率和条件概率求后验概率：
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

在朴素贝叶斯模型中，将$Y=C_k$$看作是事件A，将$$X=x$看作事件B，根据给定的输入x求Y得到不同值的概率：
$$P(Y=C_k|X=x)=\frac{P(X=x|Y=C_k)P(Y=C_k)}{P(X=x)}\text{\hspace{1em}(1)}$$

公式（1）中$P(Y=C_k)$是先验概率，可以直接根据样本计算出来。
公式（1）中的$P(X=x|Y=C_k)$不能由样本直接计算。
将x展开为
$$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)})\text{\hspace{1em}(2)}$$
根据朴素贝叶斯模型中对数据的假设：用于分类的特征在类确定的条件下都是条件独立的。公式（2）中的KaTeX parse error: Expected '', got 'EOF' at end of input: …,\\cdots,x^(n)就是这些条件独立的特征，得到：
$$\begin{gathered} P(X=x|Y=C_k) \\ =P(X=(x^{(1)},x^{(2)},\cdots ,x^{(n)})|Y=C_k) \\ =P(x^{(1)}|y=C_k)\ast P(x^{(2)}|y=C_k)\ast \cdots \ast P(x^{(n)}|y=C_k)\text{\hspace{1em}(3)} \end{gathered}$$
公式（3）中的每个P(x|y)都能根据样本计算出来，最终计算出总的$P(X=x|Y=C_k)$
公式（1）中的P(X=x)可根据概率论公式得出：
$$P(X=x)=\sum _{k}P(Y=C_k)\prod _{j}P(X^{(j)}=x^{(j)}|y=C_k)\text{\hspace{1em}(4)}$$
把公式（3）、（4）代入公式（1）得：
$$P(Y=C_k|X=x)=\frac{P(Y=C_k){\prod }_j}{{\sum }_{k}P(Y=C_k){\prod }_{j}P(X^{(j)}=x^{(j)}|y=C_k)}$$

4-1 朴素贝叶斯 模型公式的推导

朴素贝叶斯之新闻分类

朴素贝叶斯

朴素贝叶斯基础

贝叶斯 条件概率 的推导