概率论基本概念

Posted 2022-06-09 流浪若相惜

第一章 概率论基本概念

声明：本博客图片来源于四川大学 徐小湛老师讲义，仅做学习使用，请勿擅自转载，如有转载请联系博主，谢谢！！

1 随机试验

为了引出随机试验的概念，首先，我们需要了解什么是随机现象？

随机现象：就是在个别试验中其结果呈现不确定性，但在大量重复试验中，其结果又具有统计规律的现象。

为了研究随机现象，就要对客观事件进行观察。那么，观察随机现象的过程就称为随机试验，简称试验。
那么，如何确定是否是随机试验呢？随机试验具有以下几个特点：

1. 在相同的条件下，试验可以重复进行；
2. 每一次试验的可能结果不止一个，并且实能事先明确试验的所有可能结果；
3. 在每次试验之前不能确定哪一个结果会出现。

2 样本空间、随机事件

1. 样本空间

对于随机试验E 中所有可能的结果组成的集合称为E 的样本空间（Sample space），记为S （或 Ω）。其中，样本空间中的元素，即E 中每一个结果，称为样本点。

2. 随机事件

随机试验E的样本空间S的子集A称为E的随机事件（random event），简称事件。而由一个样本点e组成的单点集 e ，称为基本事件（Elementary event）。

3. 必然事件

样本空间S 包含了试验的所有样本店，在每次试验中它总会发生，则称S 是必然事件（certain event）。

4. 不可能事件

空集∅ 包含任何样本点，它在每次试验中都不会发生，称∅ 为不可能事件（impossible event）。

5. 事件的包含

如果事件A 发生必然导致事件B 发生，即属于A 的样本点也属于B ，则称事件B 包含事件A ，或者称事件A 包含于事件* B* 记作
B ⊃A 或A ⊂ B

6. 事件的相等

如果事件A 包含事件B （A ⊃ B），事件B 也包含事件A（A ⊂ B），即A 与B有相同的样本点，则称事件A与事件B相等，记作
A =B 。

7. 事件的运算

1. 事件的并（和）
   两个事件A 与事件B 至少一个发生，即“A 或B“,是一个事件则称事件A 与事件B 的并（和） ，记作
   A ∪B 或者A+B=x|x∈A 或 x∈B ，如图所示：
   

   推广：
   事件的并（和）可以推广到有限或者可列个事件。
   n个事件A1，A2，…. ，An中至少有一个发生的事件称为这些事件的和事件 。
   记作
   

2. 事件的交（积）
   两个事件A 与B 同时发生，即 “A 且 B，是一个事件，称事件A与事件B 的交（积）。记作
   A∩B 或AB =x|x∈A 且x∈B ，如图：
   

   推广：
   事件的交（积）可以推广到有限或者可列个事件。
   n个事件A1，A2，…. ，An同时发生的事件称为这些事件的积事件 。
   记作
   

3. 对立事件（逆事件）
   如果每一次试验中，事件A与事件B必有一个发生，但又不同时发生，则称事件A 与事件B 为对立事件（opposite event） ，也称A 与* B* 为互逆事件（complement event），事件A 的对立事件（逆事件）叫“A 逆，非A ”，记作
   

   逆运算的性质
   

4. 事件的差
   事件A 发生，而事件B不发生的事件称为事件A 与事件B 的差，记作
   A-B 或“A 差B ”=x|x∈A 且 ∉ B 则，
   

5. 互不相容事件（互斥事件）
   如果事件A 与事件 B 不能同时发生，则称事件A与事件B 互不相容（incompatible）或称互斥（mutually exclusive）
   AB=∅ 如图：
   

   事件A 与事件B 互不相容的充分必要条件是

对立事件和互不相容事件的关系
对立事件一定是互不相容，但互不相容事件未必对立。

6 . 完备事件组
如果事件A1，……,An两两互不相容，并且
A1∪…∪An = S，则称A1，……,An 是一个完备事件组 （每一次试验中，完备事件组中有且仅有一个事件发生）。

8. 事件的运算律

设A,B,C 为事件，则有
1. 交换律

2. 结合律

3. 分配律

4. 德摩根律（对偶原理）

推广

5 . 其他运算律

3 频率和概率

概率论研究的是随机现象的统计规律性，因此，仅仅知道试验中可能出现哪些事件是不够的，还必须对事件发生的可能性大小进行量的描述。为此，我们引入了频率的概念。
频率（Frequency）是描述事件发生的频率程度的一个量
表征事件在一次试验中发生的可能性的大小的数，即事件的概率

1. 频率定义

设在相同的条件下，进行了n次试验。在这n次试验中，事件 A 发生的次数称为事件 A 发生的频数，记作n（A）
比值n（A）/n称为事件A的频率，记作fn（*A）*,即

由定义可得频率的基本性质：

推广

2. 概率定义

大量试验证实，当重复试验的次数逐渐增大时，事件A 的频率fn（*A）* 呈现出一种稳定性（统计规律性），即频率会逐渐趋定于一个介于0和1之间的常数。因此，我们由此定义了概率。
事件 A 发生的频率的稳定值p称为A的统计概率，记作P（A），即
P（A）=p
当实验次数n 相当大时，可以用频率作为概率的近似值：
P（A）≈fn（A）=n（A）/n
我们从频率的性质定义 概率公理化定义。

频率的性质

得出概率公理化定义：

3.几何概率

1. 几何概率的定义
   

2. 几何概率的性质
   

4. 概率的性质

性质1：P（∅）=0（不可能事件的概率为零）
性质2：有限可加性设 A1，A2，……,An是两两互不相容的事件，则有P(A1∪A2∪…….∪An）=P（A1）+P（A2）+…….+P（An）

推论
设A1,A2……,An 是一个完备事件组，则P（A1）+P（A2）+…….+P（An）=1

性质3：设事件 A 和事件B 满足 A⊂ B，则
（1）P（A）≤P（B） （单调性）
（2）P（B-A）=P（B）-P（A）（减法公式）
性质4: 对任何事件 A 有
0≤P（A）≤1
性质5：逆事件的概率对于任何事件 A 有

这个公式在计算概率时常用，当直接计算某事件比较困难时，可以转而计算其对立事件的概率。
性质6（加法公式）：对于任意两个事件 A 和 B 有
P（A∪B）=P（A）+P（B）-P（AB）

推广

证明

（加法和乘法原理及排列组合略）

4 等可能概型（古典概型）

1.定义

两个共同特点：
（1）试验的样本空间包含有限个元素；
（2）试验中每个基本事件发生的可能性相同。

2.等可能概型中事件的概率计算公式

P(A)=k/n=A包含的基本事件数/S中基本事件总数

5 条件概率

1.定义

考虑的是在一个事件已经发生的条件下，另一个事件发生的概率。
-=====================================================

例1：
将一枚硬币抛掷两次，观察其出现正反面的情况。设事件A表示“至少有一次出现正面”，事件B表示“两次都出现同一面”。
求（1）事件B的概率；
（2）已知A发生的条件下，事件B的概率。
解：
样本空间 S=正正，正反，反正，反反
A=正正，正反，反正
B=正正，反反
（1）P(B)=2/4=1/2（无条件概率）
（2）在A中出现B的基本事件只有一个“正正”
P(B|A)=( P(AB)/P(A) )=1/3（条件概率）
-=====================================================
P(B|A)=N（AB）/N(A)=(N(AB)/N(S))/(N(A)/N(S))=P(AB)/P(A)
定义 设A，B 是两个事件，且P(A)>0 ，称P(AB)/P(A)为在事件A发生的条件下事件B发生的条件概率（Conditional probablity）。记作P(B|A)。

条件概率满足概率的三个条件（见上）

2.乘法定理

P(AB)=P(A)P(B|A) (P(A)>0)
两个事件同时发生的概率等于第一个事件的概率乘以第一个事件发生条件下第二个事件的条件概率。
推广：
P(ABC)=P(AB)P(C|AB)=P(A)P(B|A)P(C|AB)
三兄弟同时出现的概率
等于老大出现的概率
乘以老大出现的条件下老二出现的概率
再乘以老大老二都出现的条件下老三出现的概率
P(A1A2A3…An)=P(A1)P(A2|A1)…P(An|A1A2…An-1)

3.全概率公式和贝叶斯公式

1.全概率公式

概括为：

证明如下所示：

全概率公式的意义
将复杂的事件A划分成较为简单的事件AB1，AB2,…,ABn，再结合加法公式和乘法公式计算出A 的概率。
可以看成“有原因推到结果”
举例

2.贝叶斯公式
定义：

证明

P(Bi|A)=P(BiA)/P(A)=(P(Bi)P(A|Bi))/(Σj P(Bj)P(A|Bj))

分子是乘法公式
分母是全概率公式
分子项除以分母项，实际上表示分子项在分母项中的 "权重"。
P(Bi|A)=P(Bi)P(A|Bi))/P(A)
称为逆概率公式，Bi 与A 交换了位置。

3.贝叶斯公式的意义

在事件A已经发生的条件下，贝叶斯可用来寻找导致A发生各种“原因”Bi 的概率。

例题：

若今后用到贝叶斯公式时，会再单独做详细介绍说明！

6 独立性

1.定义
设A,B 是两个事件，如果它们满足等式P(AB)=P(A)P(B),则称事件A与B相互独立，简称A,B 独立。

定理一 设A,B是两个事件，且P(A)>0,则 A,B 独立的充分必要条件是 P(B|A)=P(B)。

2.事件独立与互斥的关系

如果P(A)>0,P(B)>0,则A,B独立，与A,B互斥不能同时成立，因为A,B独立时，有P(AB)=P(A)P(B)>0,而互斥AB=空集，得P(AB)=空=0

零概率事件与任何事件都是相互独立的；概率为1的事件与任何事件都是相互独立。
定理二

*相互独立和两两独立之间的关系

再推广：


我们给出一个更一般的结论：