关于正态总体的样本均值与样本方差的重要结论

Posted 2020-11-02 小鱼吻水

概要

这些结论为参数的假设检验提供了理论基础，非常重要。参考《概率论与数理统计》记录一下。

?

---

重要定理

?
?? 设 \(x_1,\cdots, x_n\) 是来自正态总体 \(N(\mu, \sigma^2)\) 的样本，其样本均值和样本方差分别为
\begin{align}
\bar{x} &= \frac{1}{n} \sum_{i=1}^n x_i \\
s^2 &= \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2
\end{align}
则有

1. \(\bar{x}\) 与 \(s^2\) 相互独立
2. \(\bar{x} \sim N(\mu, \dfrac{\sigma^2}{n})\)
3. \(\frac{(n-1)s^2}{\sigma^2}\sim \mathcal{X}^2(n-1)\)

??证明： 记 \(x=(x_1,\cdots,x_n)^T\)，则有
\begin{align}
E(X) = \begin{bmatrix} \mu \\ \vdots \\ \mu \end{bmatrix}, \quad Var(X) = \sigma^2 I
\end{align}
取一个 \(n\) 维正交矩阵 \(A\)，其第一行的每一个元素均为 \(1 / \sqrt{n}\)，如
\begin{align}
A = \begin{bmatrix} \dfrac{1}{\sqrt{n}} & \dfrac{1}{\sqrt{n}} & \dfrac{1}{\sqrt{n}} & \cdots & \dfrac{1}{\sqrt{n}} \\
\dfrac{1}{\sqrt{2\cdot 1}} & -\dfrac{1}{\sqrt{2\cdot 1}} & 0 & \cdots & 0 \\
\dfrac{1}{\sqrt{3\cdot 2}} & \dfrac{1}{\sqrt{3 \cdot 2}} & -\dfrac{2}{\sqrt{3\cdot 2}} & \cdots & 0 \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
\dfrac{1}{\sqrt{n(n-1)}} & \dfrac{1}{\sqrt{n(n-1)}} & \dfrac{1}{\sqrt{n(n-1)}} & \cdots & -\dfrac{n-1}{\sqrt{n(n-1)}} \\
\end{bmatrix}
\end{align}
令 \(Y=AX\)，则由多维正态分布的性质知 \(Y\) 仍服从 \(n\) 维正态分布，其均值和方差分别为
\begin{align}
E(Y) &= A \cdot E(X) = \begin{bmatrix} \sqrt{n} \mu \\ 0 \\ \vdots \\ 0 \end{bmatrix} \\
Var(Y) &= A\cdot Var(X) \cdot A^T = A \cdot \sigma^2 I \cdot A^T = \sigma^2 AA^T = \sigma^2 I
\end{align}
所以 \(Y=(y_1,\cdots,y_n)^T\) 的各个分量相互独立，且都服从正态分布，其方差均为 \(\sigma^2\)，而均值并不完全相同，\(y_1\) 的均值为 \(\sqrt{n}\mu\)，而 \(y_2 ,\cdots, y_n\) 的均值为 \(0\)。注意到 \(\bar{x}=\dfrac{1}{\sqrt{n}}y_1\)，这就证明了结论 2.

由于 \(\sum_{i=1}^n y_i^2 = Y^TY = X^TA^TAX=\sum_{i=1}^n x_i^2\)，故而
\begin{align}
(n-1)\cdot s^2 &= \sum_{i=1}^n (x_i-\bar{x})^2 = \sum_{i=1}^n x_i^2 - (\sqrt{n}\bar{x})^2 \\
&=\sum{i=1}^n y_i^2-y_1^2=\sum_{i=2}^n y_i^2
\end{align}
这就证明了结论 1.

由于 \(y_2,\cdots, y_n\) 独立同分布于 \(N(0,\sigma^2)\)，于是
\begin{align}
\frac{(n-1)s^2}{\sigma^2} = \sum_{i=2}^n \left(\frac{y_i}{\sigma} \right)^2 \sim \mathcal{X}^2(n-1)
\end{align}
定理证明完成。
?

---

重要推论

?
??推论 1： 在上述定理的记号下，有：
\begin{align} \label{e1}
t = \frac{\sqrt{n}(\bar{x}-\mu)}{s} \sim t(n-1)
\end{align}
??证明：由上述定理的结论 2 知：
\begin{align}
\frac{\bar{x}-\mu}{\sigma / \sqrt{n}} = N(0,1)
\end{align}
然后将 \ref{e1} 左端改写为
\begin{align}
\frac{\sqrt{n}(\bar{x}-\mu)}{s} = \dfrac{\dfrac{\bar{x}-\mu}{\sigma / \sqrt{n}}}{\sqrt{\dfrac{(n-1)\cdot s^2 / \sigma^2}{n-1}}}
\end{align}
由于分子是标准正态变量，分母的根号里是自由度为 \(n-1\) 的 \(t\) 变量除以它的自由度，且分子与分母相互独立，由 \(t\) 分布定义可知 \(t \sim t(n-1)\)，证毕。
?
??推论 2： 设 \(x_1,x_2,\cdots, x_m\) 是来自 \(N(\mu_1,\sigma_1)\) 的样本，\(y_1,y_2,\cdots, y_n\) 是来自 \(N(\mu_2,\sigma_2)\) 的样本，且此两样本相互独立，记
\begin{align}
s_x^2 = \dfrac{1}{m-1}\sum_{i=1}^m(x_i-\bar{x})^2,\quad s_y^2 = \dfrac{1}{m-1}\sum_{i=1}^n(y_i-\bar{y})^2
\end{align}
其中
\begin{align}
\bar{x}= \frac{1}{m} \sum_{i=1}^m x_i, \quad \bar{y} = \frac{1}{n}\sum_{i=1}^n y_i
\end{align}
则有
\begin{align}
F = \frac{s_x^2 / \sigma_1^2}{s_y^2 / \sigma_2^2} \sim F(m-1, n-1)
\end{align}
特别地，若 \(\sigma_1^2 = \sigma_2^2\)，则 \(F = s_x^2 / s_y^2 \sim F(m-1,n-1)\).
?
??证明：由两样本独立可知，\(s_x^2\) 与 \(s_y^2\) 相互独立，且
\begin{align}
\dfrac{(m-1)s_x^2}{\sigma_1^2} \sim \mathcal{X}^2(m-1),\quad \dfrac{(n-1)s_y^2}{\sigma_2^2} \sim \mathcal{X}^2(n-1)
\end{align}
由 \(F\) 分布定义可知 \(F \sim F(m-1,n-1)\).
?
??推论 3： 在上述记号下，设 \(\sigma_1^2 = \sigma_2^2=\sigma^2\)，并记
\begin{align}
s_w^2 = \dfrac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2} = \dfrac{\sum_{i=1}^m(x_i-\bar{x})^2 + \sum_{i=1}^n(y_i-\bar{y})^2}{m+n-2}
\end{align}
则
\begin{align}
\dfrac{(\bar{x}-\bar{y} - (\mu_1-\mu_2))}{s_w \sqrt{\dfrac{1}{m}+ \dfrac{1}{n}}} \sim t(m+n-2)
\end{align}
??证明：由 \(\bar{x}\sim N(\mu_1, \sigma^2 / m)\)，\(\bar{y}\sim N(\mu_2, \sigma^2 / n)\)，\(\bar{x}\) 与 \(\bar{y}\) 独立，故有
\begin{align}
\bar{x}-\bar{y} \sim N \left( \mu_1-\mu_2, \left( \dfrac{1}{m}+\dfrac{1}{n} \right) \sigma^2 \right)
\end{align}
所以
\begin{align}
\dfrac{(\bar{x}-\bar{y} - (\mu_1-\mu_2))}{\sigma \sqrt{\dfrac{1}{m}+ \dfrac{1}{n}}} \sim N(0,1)
\end{align}
由上述定理知，\(\dfrac{(m-1)s_x^2}{\sigma^2}\sim \mathcal{X}^2(m-1)\)，\(\dfrac{(n-1)s_y^2}{\sigma^2}\sim \mathcal{X}^2(n-1)\)，且它们相互独立，则由可加性知
\begin{align}
\dfrac{(m+n-2)s_w^2}{\sigma^2} = \dfrac{(m-1)s_x^2+(n-1)s_y^2}{\sigma^2} \sim \mathcal{X}^2(m+n-2)
\end{align}
由于 \(\bar{x}-\bar{y}\) 与 \(s_w^2\) 相互独立，根据 \(t\) 分布的定义即可得到结论。
?
?
?