概率论之大数定理与中心极限定理

Posted 2022-02-07 herosunly

文章目录

• 1. 基本概念
• • 1.1 定律 vs 定理
  • 1.2 频率 vs 概率
• 2. 前言
• 3. 大数定理
• 4. 中心极限定理

1. 基本概念

1.1 定律 vs 定理

  开局先来两张图，第一张是浙大的概率论教材，第二张是陈希孺老师的概率论教材。

  定律(law)是根据实验证明出来的（有时候只是知其然不知其所以然），定理(theorem)是数学证明，有前提假设、证明过程和证明结果的。所以在这里使用定理更为合适。

  N：简单来说，定理指的是理论，定律指的是规律。

  陈希孺课本后面进行了详细的解释：

  在概率论中,大数定理常称为“大数定律”。这个字面上的不同，也不见得有很特殊的含义。但是，“定理”一词往往用于指那种能用数学工具严格证明的东西，而“定律”则不一定是这样，如牛顿的力学三大定律，电学中的欧姆定律之类。这牵涉到一个从哪个角度去看的问题。像(4.2)式这样有确切的数学表述,并能在一定的理论框架内证明的结果,称之为“定理”无疑是恰当的。可是,当我们泛泛地谈论“平均值的稳定性”(即稳定到理论上的期望值)时,这表述了一种全人类多年的集体经验，有些哲理的味道。而且这种意识也远早于现代概率论给以严格表述之前，因，,称之为“定律”也不算不恰当。

1.2 频率 vs 概率

  概率是理想值，频率是实验值；例如抛理想均等硬币10000次正反面出现正面的频率是$0.5\pm ϵ$，其中$ϵ$表示误差，然而由大数定律可以证明当频率减去概率的模小于任意正数的时候可以认为在无穷多次实验中的频率值无限收敛与概率值；可以说大数定律是现实和理论的一个纽带，一个桥梁；所以当且仅当实验次数很大时频率和概率可以同台而舞，这就是频率和概率的本质差别。

2. 前言

  若对某一有限范围的$x$计算和：
$$a_n(x)=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots +\frac{x^n}{n!}$$

  则在n固定但很大时很难求，而一经取极限，则有简单的结果: $\lim a_n(x)=e^x$利用这个结果，当n很大时,可以把$e^x$作为$a_n(x)$的近似值。

  在概率论中也存在着这种情况.如果$X_1,X_2,\dots ,X_n$是一些随机变量,则$X_1+X_2+\cdots +X_n$的分布，除了若干例外，算起来很复杂，因而自然地会提出问题：可否利用极限的方法来进行近似计算?事实证明这不仅可能，且更有利的是：在很一般的情况下﹐和的极限分布就是正态分布。这一事实增加了正态分布的重要性。在概率论上，习惯于把和的分布收敛于正态分布的那一类定理都叫做“中心极限定理”。

  N：如果极限存在，则收敛于某个值。所以上述的和的极限分布是正态分布以及和的分布收敛于正态分布是等价的。

  在概率论中，另一类重要的极限定理是所谓“大数定理”。它是由概率的统计定义“频率收敛于概率”引申而来的。为描述这一点，我们把频率通过一些随机变量的和表示出来。设做了n次独立试验，每次观察某事件A是否发生。按(1.20)式定义随机变量$X_i(i=1,\dots ，n)$。则在这$n$次试验中事件$A$一共出现了$X_1+X_2+\cdots +X_n$，而频率为

$$p_n=\frac{X_1+X_2+\cdots +X_n}{n}={\overline{X}}_n$$

  若$P(A)=p$ ,则“频率趋于概率”就是说，在某种意义下(详见下文)，当n很大时$p_n$接近于p。但 p就是$X_i$的期望值,故也可以写成：
$$当n很大时{\overline{X}}_n接近于X_i的期望值$$

  较一般情况下的大数定理中“大数”的意思，就是指涉及大量数目的观察值$X_i$，它表明这种定理中指出的现象只有在大量次数的试验和观察之下才能成立。

3. 大数定理

  设$X_1,X_2,\dots ,X_n,\dots$是独立同分布的随机变量，记它们的公共均值为$a$，又设它们的方差存在并记为${\sigma }^2$。则对任意给定的$ϵ>0$，有：
$$\underset{n\to \infty }{\lim }|{\overline{X}}_n-a|<ϵ$$

  Q：${\overline{X}}_n$是频率还是a的频率？
  A：a是概率，${\overline{X}}_n$是频率。

4. 中心极限定理

设$X_1,X_2,\dots ,X_n,\dots$为独立同分布的随机变量，$E(X)=a,Var(X)={\sigma }^2(0<{\sigma }^2<\infty )$。则对任何实数$x$，有：

$$\underset{n\to \infty }{\lim }P(\sqrt{n\sigma }$$