贝叶斯公式推导

Posted 2020-12-31 red-code

基本概念

样本空间：{试验所有可能结果}-->一个试验所有可能结果的集合，用 Ω 表示。所以P(Ω) = 1

事件：样本空间的一个子集。用A、B、C表示。

 

条件概率

其实P(A|B)与P(AB)很相似，即“A和B都会发生”。

我们换一句话来解释这个P(AB)：“在所有可能的结果下，a和b都发生的概率”。而这个“所有可能的结果的概率”就是样本空间的概率，也就是1。

用条件概率来表示就是

P(AB) = P(AB) / P(Ω)

即：

P(AB) = P(AB) / 1

 

而P(A|B)则有稍许的不同，虽然还是P(A)和P(B)都会发生，但给出了一个大前提“B事件发生的前提下，A和B都发生的概率（表面上是A发生，其实是A和B都发生，因为P(AB)和P(A|B)在发生数量上没有区别，仅仅是P(A|B)加了个先后顺序）”，所以条件概率的分母变成了P(B)

即：

P(A|B) = P(AB)/P(B)

 

全概率公式

首先要有一个样本空间集合（如图中的S），我们后面的所有概率事件都要在这个样本空间里。

                     

然后我们将整个样本空间划分成n个子集（也可说n块空间，如图中的B1~Bn），这n个子集共同可以构成一个样本空间S，每个子集都可以看成一个单独事件，这n个事件我们可以称之为“完备事件组”。

 

我们的任意一个事件，必然在样本空间里（如图中的红色圆圈），如图所示，这个任意事件肯定会和

完备事件组中的各个事件“或多或少的产生交集”。

 

我们假设中间的任意事件概率为P(A)

我们可以通过将A与所有的完备事件“相交的部分”相加而找出P(A).

这些相交的部分自然就是：P(AB1),P(AB2)·······P(ABn)

即：P(A) = P(AB1) + P(AB2) + ······· + P(ABn)

根据条件概率可知P(AB) = P(A|B)P(B) = P(B|A)P(A)

所以可将公式转化成P(A) = P(A|B1) P(B1)+ P(A|B2) P(B2)+ ······· + P(A|Bn)P(Bn)

即：

 

上面这个就是全概率公式。

 

由此可见，用全概率公式的前提是：

我们要求任意事件P(A)，

在我们知道完备事件组中各事件与A事件的交集概率的情况下，我们将事件A拆成所有交集的和。

 

贝叶斯公式

贝叶斯公式核心是，知道某一条件概率后，找出这个条件发生的原因。

这么说可能抽象了点。

举个栗子：我们知道了B发生后A发生的概率P(A|B)，由此我们可以用贝叶斯公式推出A发生后B发生的概率。

 

贝叶斯公式可以根据条件概率和全概率公式推导出来。

在推导之前有几个提前假设：

1、Ai概率事件是某一个完备概率组中的事件，该完备事件组有n个事件，Ai是其中一个。1<=i<=n（如A事件与非A事件，这两事件就能构成一个完备事件组）

推导过程如下：

根据条件概率有：

原式 = P(Ai|B) = P(AiB) / P(B)

将B事件与A事件所属的完备概率组做全概率公式后，将P(B)展开得：

原式 = P(Ai|B) = P(AiB) / ( P(B|A1)P(A1) + P(B|A2)P(A2) +······+P(B|An)P(An) )

此时我们可看出，我们求的是P(Ai|B)，而分母已经全被我们转化成了P(B|A)的条件。

接下来我们利用条件概率将分子也转化成P(B|A)的条件样式

即：P(AB) = P(A|B)P(B) = P(B|A)P(A)

所以继续转化原式分子得：

原式 = P(Ai|B) = P(B|Ai)P(Ai) / ( P(B|A1)P(A1) + P(B|A2)P(A2) +······+P(B|An)P(An) )

最后这个公式就是贝叶斯公式