人工智能数学基础--概率与统计1：随机试验样本空间事件概率公理定理以及条件概率和贝叶斯法则

Posted 2022-12-08 LaoYuanPython

随机试验

我们都非常熟悉在科学研究和工程中试验的重要性。试验对我们是有用的，因为我们可以假定，在非常接近的确定条件下进行固定的试验，基本上会得到相同的结果。在这样的环境中，我们可以控制那些对试验结果有影响的变量的值。

然而在某些试验中，我们不可能断定或控制一些变量的值，虽然大多数的条件都是相同的，但每一次试验的结果会不同。这样的试验称为随机的。

样本空间

由随机试验的一切可能的结果组成的一个集合S，称为样本空间。其中的每一个结果称为一个样本点。

经常会有多个样本空间能够用于描述同一个试验，但是通常只有一个会提供最多的信息。

如果一个样本空间仅有有限个数的点，则称为有限样本空间。如果有如自然数1,2,3,…那样多的点，则称为可数的无限样本空间。如果有数轴上的一个区间那样多的点，比如0≤x≤1,则称为非可数的无限样本空间。

当一个样本空间是有限的或可数的无限空间时，一般称为离散样本空间，一个非可数的无限空间称为非离散样本空间。

事件

一个事件就是样本空间S的一个子集A，也就是一些可能结果的一个集合。当一个试验的结果是A的一个元素时，则称事件A出现了。当一个事件仅包含S的一个单一点时，常称该事件是简单的或基本的。

S自身可看作一个特殊的事件，它是一个必然的或确定的事件，因为必定会出现S的一个元素。同时空集
(∅)称为不可能事件，因为∅中没有元素会出现。

对S中的事件进行集合运算，可以获得S中的其他事件。例如，如果A和B是事件，则：

1. A ∪B是“A或B或者两者同时出现”的事件，AUB称为A与B的并或A与B的和。
2. A∩B是“A，B同时出现”的事件，A∩B称为A与B的交或A与B的积。
3. A’是“A不出现”的事件，A’称为A的补或非。
4. A-B=A∩B’是“A出现但B不出现”的事件，特别A’=S-A。

如果事件A 和B是分离的，也就是A∩B=∅，则称事件是互斥的。这意味着两者不能同时出现。如果一个事件组A1，A2，·…，An，A中的任一对都是互斥的，则称为一个互斥事件组。

概率的概念

在一个随机试验中总是存在不确定性，即一个特殊的事件可能出现也可能不出现。作为我们所能期望的该事件出现的机会或概率的度量，通常约定为0和1之间的一个数值。

如果我们肯定该事件一定出现，则它的概率是100%或1，如果我们肯定该事件不会出现，则它的概率是0。
又比如，当概率是1/4时，我们认为它出现的机会是25%，不出现的机会是75%。等价地，我们可以说相对它的实现反映出的优势比为75%:25%，或3:1。

存在两种重要的方法，这时一个事件的概率可以用这些方法估计出来。

1. 古典方法。如果总共n种可能的状态，每一种状态都是完全相似的，而一个事件在h个不同的状态中会出现，则这个事件的概率是h/n。
   例1.10 假定我们想知道一次投掷硬币中掷出正面的概率。由于在投掷一枚硬币时有两个完全相似的状态，也就是正面和反面(假定不仔在滚动或边缘站立)，这两个状态仅有一个出现正面，我们有理由认为这个所求的概率是1/2。这里，当然要假定硬币是均匀的，也就是不偏向任何一个状态。
2. 频率方法。将一个试验进行n次，当”相当大时，其中有h 次出现某一事件，则该事件的概率是h/n。这也称为该事件的经验概率。
   例1.11 投掷一枚硬币1000次，发现正面出现532次，则我们估计正面出现的概率为532/1000=0.532。

占典方法和频率方法两者都有较严重的缺陷。第一种中，词“完全相似”是含糊不清的，而第二种中的“相当大”也是含糊不清的。因此数学家导出了概率的公理化方法。

概率的公理

假定我们有一个样本空间S。如果S是离散的，则其全部子集均视为事件，反之如果S是非离散的，则仅有一些特殊子集(称为可测的)视为事件。

对事件类C中的一个事件A，我们给以一个实数P(A)。如果下列公理能够满足，则称P是概率函数，P(A)称为事件 A 的概率：

1. 公理1 对类C中的每一个事件A， P(A)≥0 ；
2. 公理2 对类C中的确定事件S，P(S)=1；
3. 公理3 对类C中的一些互斥事件A1，A2，…，P(A1 ∪ A2 ∪ ···)=P(A1)+P(A2)+···。特别地，对两个互斥事件A1，A2，P(A1∪ A2)=P(A1)+P(A2)。

概率的一些重要定理

从概率公理能够证明许多关于概率的定理，在今后的工作中它们是重要的。

1. 定理1-1 如果A1⊂A2，则P(A1)≤P(A2)，同时 P(A2-A1)=P(A2)-P(A1)；
2. 定理1-2 对任一事件A，0≤P(A)≤1，也就是一个概率在0和1之间；
3. 定理1-3 P(∅)=0，也就是不可能事件的概率为0；
4. 定理1-4 如果A’是A的补，则 P(A’)=1-P(A)；
5. 定理1-5 如果A=A1∪A2∪···∪An，其中A1，A2，…，An是互斥事件，则
   P(A)=P(A1)+P(A2)+.·+P(An)
   特别，如果 A=S 为样本空间，则 P(A1)+P(A2)十···+P(An)=1
6. 定理1-6 如果A和B是两个事件，则 P(A ∪ B)=P(A)+P(B)-P(A∩B)
   更一般地，如果 A1，A2，A3是三个事件，则
   P(A1 ∪ A2 ∪ A3)=P(A1)+P(A2)+P(A3)-P(A1∩A2)-P(A2∩A3)-P(A3∩A1)+P(A1∩A2∩A3)
   也可以推广到n个事件。
7. 定理1-7 对任意事件A和B，P(A)=P(A∩B)+P(A∩B’)
8. 定理1-8 如果一个事件A必定出现在一组互斥事件A1,A2,…,An的某个中，则
   P(A)=P(A∩A1)+P(A∩A2)+···+P(A∩An)

概率的确定

如果一个样本空间S包含有限个结果a1,a2,…,an，则由定理1-5，P(A1)+P(A2)+···+P(An)=1

其中A1，A2，…，An，是由Ai=ai给出的基本事件。

从而，我们可以选择一些非负数作为这些简单事件的概率，只要它们满足上式。特别地假定全部简单事件有相等概率，则
P(Ak)=1/n，k=1，2，…，n
如果A是一个如此的h个简单事件叠加的事件，则我们有 P(A)=h/n

这与前面给出的古典概率方法是等价的，我们也可使用其他方法确定概率，比如前面给出的频率方法。

确定概率是提出一种数学模型，这一模型是否成功必须按同样的方式作多次试验来进行检验，采用的方式在物理或其他科学中的理论也须经试验检验。

条件概率

设A和B是两个事件(如图1-3)，其中P(A)>0：

用P(B|A)记给定A 出现时B的概率，由于A已经出现是已知事实，它就成了新的样本空间，代替了原来的 S，这就引出定义：P(BIA)=P(A∩B)/P(A)
或： P(A∩B） = P(A)P(BIA)
上式说明事件A和B同时出现的概率等于A出现的概率乘以A已发生时B出现的概率，称P(B|A)为 A 发生时B的条件概率，也就是给定A已经发生时B将出现的概率，很容易看出条件慨率满足前面给出的公理。

条件概率的定理

1. 定理1-9 对任意三个事件A1，A2，A3，有 P(A1∩ A2∩A3) = P(A1)P(A2|A1)P(A3|A1∩A2)
   该定理说明，A1，A2和A3，同时出现的概率等于 A1 出现的概率乘已知A1出现时A2出现的概率再乘上已知A1和A2都出现时 A3出现的概率。
   这一结果可推广到n个事件。
2. 定理1-10 如果事件A必定出现在互斥事件组A1，A2，…，An的某一事件中，则
   P(A)=P(A1)P(A|A1)+P(A2)P(A|A2)+…+P(An)P(A|An)
   老猿注：事件A必定出现在互斥事件组A1，A2，…，An的某一事件中，意味着A中的元素必须被A1，A2，…，An全包含，也可以在A1，A2，…，An中的多个中出现。

独立事件

• 如果P(B|A)=P(B)，也就是B出现的概率不受A出现或不出现的影响，则称A和B是独立事件。从条件概率公式可看出这等价于
  P(A∩B)=P(A)P(B)，反之，如果有该式，则A和B是独立的。

• 对于三个事件A1，A2，A3 ，若它们每一对是独立的 P(Aj∩Ak)=P(Aj)P(Ak)，j≠k，这里j，k=1，2，3
  而且同时有
  P(A1∩ A2∩ A3)=P(A1)P(A2)P(A3)
  则称这三个事件是独立的。

注意，上面两个定义单独自身一个是不够的。多于3个事件的独立性也容易定义。

贝叶斯(Bayes)定理

设A1，A2，…，An是一组互斥事件，它们的并是样本空间 S，也就是这些事件必有一个出现。则对任一个事件A，有下列重要定理：

定理1-11(贝叶斯法则)

老猿注：
才开始理解时，以为A必须是A1，A2，…，An中的一个，当样本空间只有A和B两个互斥事件时，则对应的贝公式为：P(A|B)=(P(B|A)P(A))/(P(A)P(A|A)+P(B)P(A|B)=P(A∩B)/(P(A)+P(A∩B))=0/P(A)=0，这样算没问题，但这样的公式没有实际意义，因为当Ak是A1，A2，…，An中的一个时，从上述公式可以得到：

1. P(Ak|A) = P(A)，当Ak=A时；
2. P(Ak|A) = 0，当A不等于A时。
   所以上面公式中的A是任意事件。

同时由条件概率引出定义可以知道：P(Ak|A)P(A)=P(A|Ak)P(Ak）= P(A∩Ak)，则有：
P(Ak|A) = P(A|Ak)P(Ak）/ P(A)
而由定理1-10可知：P(A)==P(A1)P(A|A1)+P(A2)P(A|A2)+…+P(An)P(A|An)，因此贝叶斯法则成立。

这一公式使我们能找出可以导致A出现的各种事件A1，A2，…，An的概率。这就使贝叶斯定理经常被认为是一条关于因果概率的定理。

小结

本文介绍了概率统计包括随机试验、样本空间、事件、概率公理定理以及条件概率和贝叶斯法则在内的一些基础知识，都是概率统计的入门知识，要理解起来还是比较容易的，但是熟练掌握应用还需要多应用。

说明：

本文内容是老猿学习美版M.R.斯皮格尔等著作的《概率与统计》的总结，有需要高数原教材电子版以及OpenCV、Python基础知识、图像处理原理介绍相关电子资料，或对文章内有有疑问咨询的，请扫博客首页左边二维码加微信公号，根据加微信公号后的自动回复操作。

更多人工智能数学基础请参考专栏《人工智能数学基础》。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

1. 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
2. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
3. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录 》
4. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

老猿Python，跟老猿学Python！

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython ░