贝叶斯 条件概率 的推导

Posted 2023-05-07

参考技术A 事物A独立发生的概率为P(A)，事物B独立发生的概率为P(B)，那么有：

表示事物B发生之后事物A发生的概率；

表示事物A发生之后事物B发生的概率；

我们可以将公式写成全量的形式：

表示全量相互排斥且性质关联的事物，即：

那么可以得到全概率公式

全概率公式的意义在于：无法知道一个事物独立发生的概率，但是我们可以将其在各种条件下发生的概率进行累加获得。

已知某种疾病的发病率是0.001，即1000人中会有1个人得病。现有一种试剂可以检验患者是否得病，它的准确率是0.99，即在患者确实得病的情况下，它有99%的可能呈现阳性。它的误报率是5%，即在患者没有得病的情况下，它有5%的可能呈现阳性。一个人检测为阳性的概率是多少。
设

表示发病率

表示不发病率,P(B)表示检查为阳性的概率.
则一个人检测为阳性的概率是为

在病人已患病的条件下，被检查为阳性的概率为

在病人未患病的条件下，被误诊为阳性的概率为

因此一个病人被检查为阳性的概率为

可以理解他是全概率公式的反向应用，他是求某个条件出现时某个事件发生的概率。定义如下：
P(A) 为前置概率，表示B未发生时A发生的概率.
P(A|B) 为后置概率, 表示B发生时A发生的概率
贝叶斯公式可以看作是事件B发生后对前置概率的修正,而

是修正因子。

我们可以从条件概率的定义推导出贝叶斯定理。
根据条件概率的定义，在事件 B 发生的条件下事件 A 发生的概率为：

同样地，在事件 A 发生的条件下事件 B 发生的概率为：

而

结合这两个方程式，我们可以得到：

因此证得

通常，事件 A 在事件 B 发生的条件下的概率，与事件 B 在事件 A 发生的条件下的概率是不一样的；然而，这两者是有确定关系的，贝叶斯定理就是这种关系的陈述。

贝叶斯公式的用途在于通过己知三个概率来推测第四个概率。它的内容是：在 B 出现的前提下，A 出现的概率等于 A 出现的前提下 B 出现的概率乘以 A 出现的概率再除以 B 出现的概率。通过联系 A 与 B，计算从一个事件发生的情况下另一事件发生的概率，即从结果上溯到源头（也即逆向概率）。

通俗地讲就是当你不能确定某一个事件发生的概率时，你可以依靠与该事件本质属性相关的事件发生的概率去推测该事件发生的概率。用数学语言表达就是：支持某项属性的事件发生得愈多，则该事件发生的的可能性就愈大。这个推理过程有时候也叫贝叶斯推理。

B-概率论-贝叶斯决策

[TOC] 更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/

贝叶斯决策

一、贝叶斯决策理论

贝叶斯决策理论：在不完全情报下，对部分未知的状态用主观概率估计。

二、贝叶斯公式

2.1 从条件概率公式推导贝叶斯公式

若果$A$和$B$相互独立，则有$p(A,B) = p(A)p(B)$，并有条件概率公式

[ p(A|B) = {frac{p(A,B)}{p(B)}} \\ p(B|A) = {frac{p(A,B)}{p(A)}} \\]

通过条件概率可得

[ p(A,B) = p(B|A)p(A) p(A|B) = {frac{p(B|A)p(A)}{p(B)}} quad ext{简写的贝叶斯公式} ]

(p(A|B))：后验概率，B发生的情况下发生A的概率，需要计算的概率

(p(B|A))：似然度，A假设条件成立的情况发生B的概率

(p(A))：A的先验概率，也可以理解成一般情况下A发生的概率

(p(B))：标准化常量，也可以理解成一般情况下B发生的概率

2.2 从全概率公式推导贝叶斯公式

全概率公式

[ p(B) = sum_{i=1}^n{p(B|A=A_i)p(A_i)} quad ext{其中}sum_{i=1}^n{p(A_i)=1} ]

通过全概率公式可得

[ p(A|B) = {frac{p(B|A)p(A)}{sum_{i=1}^n{p(B|A=A_i)p(A_i)}}} quad ext{完整的贝叶斯公式} ]

三、贝叶斯公式应用

在数字通信中，由于随机干扰，因此接受的信号与发出的信号可能不同，为了确定发出的信号，通常需要计算各种概率。

如果发报机以0.6和0.4的概率发出信号0和1；

当发出信号0时，以0.7和0.2的概率收到信号0和1；

当发出信号1时，接收机以0.8和0.2收到信号1和0。

计算当接受机收到信号0时，发报机发出信号0的概率。

通过上述给出的数据可以得到以下推导

(p(A_0) = 0.6)：发报机发出信号0的概率

(p(A_1) = 0.4)：发报机发出信号1的概率

(p(B)=p(A_0)p(B|A_0) + p(A_1)p(B|A_1))：发报机接收到信号0的概率

(p(B|A_0) = 0.7)：发报机发出信号0接收到信号0的概率

(p(B|A_1) = 0.2)：发报机发出信号1接收到信号0的概率

[ egin{align} p(A_0|B) & = {frac{p(B|A_0)p(A_0)}{p(A_0)p(B|A_0) + p(A_1)p(B|A_1)}} & ={frac{0.6*0.7}{0.6*0.7 + 0.4*0.2}} & ={frac{0.42}{0.50}} & =0.84 end{align} ]