人工智能数学基础--概率与统计9：概率运算加法公理事件的独立性概率乘法定理条件概率全概率公式以及贝叶斯公式

Posted LaoYuanPython

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了人工智能数学基础--概率与统计9：概率运算加法公理事件的独立性概率乘法定理条件概率全概率公式以及贝叶斯公式相关的知识，希望对你有一定的参考价值。

一、概述

这大半年都很忙，学习时间太少，导致概率论的学习停滞不前，期间AI大佬herosunly推荐了陈希孺老先生的概率论教材，与最开始学习的美版M.R.斯皮格尔等著作的《概率与统计》表示差异比较大（具体请见《人工智能数学基础–概率与统计7：学习中一些术语的称呼或表示变化说明以及独立事件的一些补充推论》的说明），但学习起来更容易理解一些，最近利用国庆开始学习这本教材，感觉还是有必要继续学。

由于表示的变化，为了知识的承前启后，基于陈老先生的教材对事件独立性、条件概率等前面章节介绍过的内容在本文重新介绍一下。

二、事件的蕴涵、包含及相等

在同一试验下的两个事件A和B，如果当A发生时B必发生，则称A蕴含B，或者说B包含A，记为A ⊂ B。若A、B互相蕴含，即A⊂B且B⊂A，则称A、B 两事件相等，记为A=B。

注意：蕴涵和包含是相反关系。

三、事件的互斥和对立

  1. 如果两个事件A、B不可能在同一试验中都发生（包括都不发生）则称它们是互斥的；
  2. 如果一些事件中任意两个都是互斥的，则称它们是两两互斥的；
  3. 如果A为一事件，则事件B=A不发生 称为A的对立事件，记为：

四、事件的和（或称为并）以及加法公理

  1. 设有2个时间A、B，定义一个新事件C：C=A发生或B发生=A、B至少发生一个，则称事件C为事件A、B的和（或并），记为C=A+B；
  2. 定理：若干个互斥事件之和的概率，等于各事件的概率之和，这里事件的个数可以是有限的或无限的，这个定理就称为概率的加法定理（也称为加法公理），记为：P(A1+A2+…)=P(A1)+P(A2)+…。注意概率的加法定理的基础条件是各事件必须是两两互斥的；
  3. 事件A的对立事件Ac的概率P(Ac)=1-P(A)。

五、事件的积（或称为交）和差

  1. 如果有两个事件A、B，定义事件C=A、B都发生，则称事件C是事件AB的积或乘积（或交），记为：C=AB；

  2. 多个事件A1、A2、…的积A是指事件A1、A2、…都发生，记为:A=A1A2…,也可以记为：

  3. 两个事件A、B之差记为 A－B，定义为：A-B=A发生，B不发生，A-B = ABc，因此差是可以通过积进行定义。
    概率加法公理

六、事件的运算法则

假设有事件A、B、C，则有关于事件的如下运算法则：

  1. 加法交换律：A+B=B+A；
  2. 乘法交换律：AB=BA;
  3. 乘法结合律：(AB)C=A(BC)；
  4. 分配律：A(B-C)=AB-AC。

七、条件概率

  • 一般来讲，条件概率是附加一定条件之后所计算出的概率；
  • 在概率论中，决定试验的基础条件被看做已定不变的，如果不再加入其它条件或假定，则算出的概率就是无条件概率；
  • 设有两个事件A、B，且P(B)≠0，则在给定B发生的条件下A发生的概率为条件概率，记为P(A|B)，定义为：P(A|B)=P(AB)/P(B)。

老猿注：为什么条件概率的计算公式是P(A|B)=P(AB)/P(B)，请参考《人工智能数学基础–概率与统计1：随机试验、样本空间、事件、概率公理定理以及条件概率和贝叶斯法则》。

八、事件的独立性和概率乘法定理

  1. 对于两个事件A、B，如果B发生与否对A的发生可能性毫无影响，则称为事件A和B是独立的。由于B的发生不影响A的发生，此时P(A|B)=P(A)，按照 条件概率的计算公式P(A|B)=P(AB)/P(B)可得：P(AB)=P(A)P(B)；
  2. 两个事件A、B是独立的，则P(AB)=P(A)P(B)，反过来如果两个事件A、B满足P(AB)=P(A)P(B)，则称A、B是独立的；
  3. 两个独立事件A、B的积AB的概率P(AB)等于其各自概率的乘积P(A)P(B)，P(AB)=P(A)P(B)称为概率的乘法定律；
  4. 设A1、A2、…为有限或无限个事件，如果任意取出有限个Aj1、Aj2、…、Ajn，P(Aj1Aj2…Ajn)=P(Aj1)P(Aj2)…P(Ajn)，则称事件A1、A2、…相互独立。根据本公式定义的独立事件与由条件概率触发的定义是等价的，或者说对任意Aj1、Aj2、…、Ajn，有：
    P(Aj1|Aj2…Ajn)=P(Aj1)，即任意事件Aj1发生的可能性大小，不受其他事件发生的影响；
  5. 若干个独立事件A1、A2、…An之积的概率，等于各事件概率的积，P(A1A2…An)=P(A1)P(A2)…P(An)；
  6. 独立事件的任意一部分也独立，不同独立事件决定的事件也独立，这里说的决定是指通过运算得到，注意如果决定2个事件中有相同事件则决定的事件不是相互独立的；
  7. 若干个独立事件A1、A2、…An，将其中任意一部分改为对立事件时，所得事件仍然相互独立 。

老猿注：独立事件的积的概率等于各自概率的积，互斥事件的和的概率等于各自概率的和，这两者的前提是不同的，即相加是互斥，相乘是独立。

九、全概率公式

  1. 设B1、B2、…为有限个或无限个事件，它们两两互斥且在每次试验中至少发生一个，即：
    BiBj=∅（不可能事件）（i≠j）
    B1+B2+…=Ω（必然事件）
    称具有这样性质的一组事件称为“完备事件群”
  2. 对上述完备事件群，考虑任一事件A，有A=AΩ=AB1+AB2+…，由于B1、B2、…两两互斥，则AB1、AB2、…两两互斥，依据加法定理：P(A)=P(AB1)+P(AB2)+…,再由条件概率公式P(ABi)=P(Bi)P(A|Bi)，得到：
    P(A) = P(B1)P(A|B1)+P(B2)P(A|B2)+…
    上述公式就称为全概率公式。
  3. 全概率公式的理论和实际意义在于：当复杂情况下A的概率P(A)不容易计算，但A总是随某个Bi伴出，适当去构造一组Bi往往可以简化计算。

老猿注：全概率公式中Bi可以看做事件A发生的原因，因此全概率公式可以看作是由原因的概率推结果的概率。

十、贝叶斯公式

10.1、贝叶斯公式的定义

设B1、B2、…为完备事件群，对任一事件A，结合条件概率的定义有：

P(Bi|A)=P(ABi)/P(A)=P(Bi)P(A|Bi) / (P(B1)P(A|B1)+P(B2)P(A|B2)+…)=P(Bi)P(A|Bi) / (ΣP(Bj)P(A|Bj))

上述公式就称为贝叶斯公式，是英国学者T·贝叶斯提出的。

10.2、贝叶斯公式的意义

贝叶斯公式中的事件A可以看作已经发生的事件，Bi可以看做事件A发生的原因，因此贝叶斯公式可用于在A发生的情况下，去找各个原因导致事件A发生的概率，这个概率与P(Bi|A)成比例。

10.3、例1

有三个盒子C1、C2、C3，各有100个球，其中C1盒含白球80个、红球10个、黑球10个；C2为白球10个、红球80个、黑球10个；C3为白球10个、红球10个、黑球80个，现从这三个盒子中随机地抽出一个(每盒被抽的概率为1/3)，然后从所抽出的盒中随机抽出一个球(每球被抽的概率为0.01)，结果抽出者为白球。问“该白球是从Ci盒中抽出”的可能性有多大(i=1，2，3)？

解：
记Bi=抽出的为Ci盒(i=1，2，3)，A=抽出白球，要求的是条件概率P(Bi|A)。按假定，有
P(B1)=P(B2)=P(B3)=1/3，
P(A|B1)=0.8，P(A|B2)=0.1，P(A|B3)=0.1
代入贝叶斯公式，算出分母：P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)=1/3*(0.8+0.1+0.1)=1/3，其实从300个球中抽100个球的概率就是1/3，因此可以算得：
P(B1|A)=0.8，P(B2|A)=0.1，P(B3|A)=0.1。

因为C1盒所含白球最多，故在已知抽出白球的情况下，该球系来自C1盒的可能性也最大，理所当然。可能仍有读者不完全了然于心，则可以设想这么一个试验，准备两张纸，把例中的试验一次又一次地做下去：每抽出一个盒，在左边的纸上记下其为C1或C2或C3(不管从该盒中抽出的球如何)；而只有在抽出的球为白球时，才在右边的纸上记下该盒为C，或C2或C3。在进行了极大量次数的试验后，会发现左边纸上C1的比例很接近1/3，而在右边纸上C1的比例则很接近0.8。

10.4、例2

设某种病菌在人口中的带菌率为0.03，当检查时，由于技术及操作的不完善以及种种特殊原因，使带菌者未必检出阳性反应而不带菌者也可能呈阳性反应。
假定： P(阳性|带菌)=0.99，P(阴性|带菌)=0.01， P(阳性|不带菌)=0.05，P(阴性|不带菌)=0.95。
现设某人检出阳性，问“他带菌”的概率是多少？

解：

此问题相当于 P(B1)=0.03，P(B2)=0.97，且P(A|B1)=0.99，P(A|B2)=0.05，所求的概率为P(B1|A)，按贝叶斯公式算出：
P(B1|A) = P(B1)P(A|B1)/( P(B1)P(A|B1)+ P(B2)P(A|B2)) = (0.03)(0.99)/[(0.03)(0.99)+(0.97)(0.05)]=0.380。

也就是说，即使你检出阳性，尚可不必过早下结论你一定带菌了。实际上，这种可能性尚不到40%。
这个例子很值得玩味，且对其“思维定势”中无概率成分的人来说，简直有点难以置信.说穿了，理由简单之极，由于带菌率极低，在全人口中绝大部分不带菌。由于检验方法的不完善，在这大批人中会检出许多呈阳性者。另一方面，带菌者在全人口中很少，即使检测出阳性，在这两部分阳性的人群中占比相对较少，属于虚报性质，因此提高精度在这类检验中非常重要。

小结

本文结合陈希孺老先生的概率论教材介绍了事件的互斥、独立的概念，概率的运算法则，互斥事件的加法定理、独立事件的乘法定理以及条件概率的定义以及由此推导出来的完备事件群的全概率公式和贝叶斯公式，最后介绍了贝叶斯公式在解决实际问题中的应用。

更多人工智能数学基础请参考专栏《人工智能数学基础》。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

  1. 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
  2. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
  3. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录 》
  4. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

老猿Python，跟老猿学Python！

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython ░

以上是关于人工智能数学基础--概率与统计9：概率运算加法公理事件的独立性概率乘法定理条件概率全概率公式以及贝叶斯公式的主要内容，如果未能解决你的问题，请参考以下文章

人工智能数学基础--概率与统计1：随机试验样本空间事件概率公理定理以及条件概率和贝叶斯法则

人工智能数学基础--概率与统计5：独立随机变量和变量替换

人工智能数学基础--概率与统计5：独立随机变量和变量替换

装备系统可靠性设计理论——公理设计之浅见

概率论基础随机事件和概率

深度学习数学基础-概率与信息论