大数定律与中心极限定理

Posted 2022-12-02 Xurtle

学习目标： Be able to use the central limit theorem to approximate probabilities of averages and sums of independent identically-distributed random variables.

Sample Mean

Suppose $X_1,X_2,\\cdots ,X_n$ are independent random variables with the same underlying distribution. In this case, we say that the $X_i$ are independent and identically-distributed, or i.i.d. In particular, the $X_i$ all have the same mean $\\mu$ and standard deviation $\\sigma$. Sample Mean 定义如下：

$$\\barX_n=\\fracX_1+X_2+\\cdots +X_nn=\\frac1n\\sum_i=1^nX_i$$

为了更好地理解 sample mean，下面我来举例说明一下。现在让我们进行投硬币实验，如果我们投的次数越多，出现正反面的次数会接近相同，这不难理解。在这个实验中，每个随机变量 $X_i$ 就是一次独立的投掷，因此 $X_i \\sim Bernoulli(0.5)$，如果我们一共投掷100次，那么n=100, sample mean $\\barX_100$ = （在100次的投掷中，出现正面的概率）。

Randomness being what it is, this is not guaranteed; for example we could get 100 heads in 100 flips, though the probability of this occurring is very small. So our intuition translates to: with high probability the sample mean $\\barX_n$ is close to the mean 0.5 for large n.

由于 $X_i$ 本身就是随机变量，因此 $\\barX_n$ 也是随机变量，那么它的分布是怎样的呢？下文中介绍的中心极限定理会告诉我们：随着 n 逐渐增大时， $\\barX_n$ 最终会收敛到正态分布。

The law of large numbers

大数定律告诉我们：The average of many independent samples is (with high probability) close to the mean of the underlying distribution. 举个例子说明一下大数定律所表达的含义。如下图所示，当我们投掷一个骰子的次数超过400次时，我们观察到的 sample mean 会非常接近于理论上的期望值（期望不是随机变量，而是一个确定的值）。因此,大数定律告诉我们：当实验的数目足够大时，sample mean 会等于真正的 mean.

接下来，我给出大数定律准确的数学定义：

Suppose $X_1, X_2,\\cdots,X_n,\\cdots$ are i.i.d. random variables with mean $\\mu$ and variance $\\sigma^2$. For each n, let $\\barX_n$ be the average of the first n variables. Then for any $\\epsilon$ > 0, we have

$$lim_n\\rightarrow \\inftyP(|\\barX_n-\\mu| \\lt \\epsilon )=1$$
Think of $\\epsilon$ as a small tolerance of error from the true mean $\\mu$.

在证明大数定律之前，我们需要先了解一下 Markov inequalities, Chebyshev inequalities, and convergence in probability.

Markov inequalities

Markov 不等式把概率与期望关联起来，定义如下：

If X is a nonnegative random variable and $a\\gt0$, then the probability that X is no less than a is no greater than the expectation of X divided by a: $P(X\\ge a)\\le \\fracE[X]a$

关于这个不等式的证明参考 Lecture 19 中的 5:40 处开始。

Chebyshev inequalities

切比雪夫不等式定义：Let X (integrable) be a random variable with finite expected value $\\mu$ and finite non-zero variance $\\sigma^2$ :

$$P(|X-\\mu|\\ge c)\\le \\frac\\sigma^2c^2$$

令 $c=k\\sigma$，对于任何实数 大数定律与中心极限定理

[概率论与数理统计]笔记：3.5 大数定律与中心极限定理

统计和数学中常见的定理汇总 | 大数定律 | 中心极限定理

概率论之大数定理与中心极限定理

大数定律和中心极限定律

中心极限定理 | central limit theorem | 大数定律 | law of large numbers