概率论与数理统计笔记 第二章 随机变量及其概率分布

Posted 2020-10-16

概率论与数理统计笔记 第二章 随机变量及其概率分布

概率论与数理统计笔记（计算机专业） 作者： CATPUB 新浪微博：@catpub

课程：中国大学MOOC浙江大学概率论与数理统计

部分平台可能无法显示公式，若公式显示不正常可以前往CSDN或作业部落进行查看

第一章：https://www.zybuluo.com/catscarf/note/971426

第二章：https://www.zybuluo.com/catscarf/note/972996

第9讲 随机变量

• 定义
• 随机变量 $X(e)$，$X$ 是 $S\to R$ 的函数，$e$ 是样本点
• 自变量 $e\subset S$
• 随机事件 $A={e|X(e)=I}={X=I}$

• 如多次投掷骰子，随机事件 {6点在第3次出现} 可以记作 ${X=3}$，$X$ 是随机变量

• 随机变量

• 离散型随机变量，值的集合的基数小于等于阿列夫零（离散数学概念）

• 连续型随机变量

• 分布律

• $X$	$x_1$	$x_2$	$...$	$x_k$	$...$
  $P$	$p_1$	$p_2$	$...$	$p_k$	$...$

• $$P(X=x_k)=p_k (k=1,2,...)$$

• 几何分布 Geometric Distribution

• 多次投掷骰子，$6?$ 点第一次出现时投掷的次数

• $X$	$1$	$2$	$3$	$...$	$k$	$...$
  $P$	$$\frac{1}{6}$$	$$\frac{5}{6}\cdot\frac{1}{6}$$	$$(\frac{5}{6})^2 \cdot\frac{1}{6}$$	$...$	$$(\frac{5}{6})^{k-1} \cdot\frac{1}{6}$$	$$...$$

  ?

第10讲 离散型随机变量

• $0\text{-}1$分布（两点分布）

• $$P(X=k)=p^k(1-p)^{n-k}$$

• $X$	$0$	$1$
  $P$	$1-p$	$1-p$

  ?

• 若X服从两点分布，则单次试验称为伯努利（Bernoulli）试验

• 0

  记为$X\sim 0\text{-}1(p)$

• 也记为 $X\sim B(1,p)?$，$B?$ 是Binomial的意思，两点分布可以看作Binomial分布的特例

• $\sim$ 读作服从于

• 二项分布 Binomial Distribution

• $$P(X=k)=C_n^k\cdot P^k\cdot (1-p)^{n-k}$$
• $n$ 重Bernoulli实验，事件发生次数 $k$ 的统计规律

• 记为$X\sim B(n,p)$

• 泊松分布 Poisson Distribution

• $$P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!} (k=0,1,2,...)$$

• 记为 $X\sim \pi(\lambda)$ 或 $x\sim P(\lambda)$

• Poisson Distribution与Binomial Distribution的关系

• 当 $n$ 很大 $p$ 很小的时候

• $$C_n^k P^k (1-p)^{n-k}=\frac{\lambda^k e^{-\lambda}}{k!} \lambda=np$$

• 几何分布 Geometric Distribution

• $P(X=k)=p(1-p)^{k-1}$
• 记为 $X\sim Geom(p)$

• 实例：研究段誉多少次施展武功能成功的统计规律

第11讲 分布函数

• 定义
• $F_X(x)=P(X\leq x)$
• 离散型的随机变量分布函数为阶梯函数
• 性质
• $P(a<X\leq b)=F(b)-F(a)$
• $P(a<X<b)=F(b-0)-F(a)$
• $P(X=b)=F(b)-F(b-0)$
• $F(x)$ 单调不减
• $F(-\infty)=0,F(+\infty)=1$
• $F(x)$ 右连续

第12讲 连续性随机变量及其概率密度

• 定义
• $$F(x)=\int_{-\infty}^x f(t)dt$$
• $F(x)$ 为连续型随机变量的分布函数
• $f(t)$ 为连续型随机变量的概率密度函数
• 若一个随机变量有概率密度函数则其一定为随机变量
• 性质

1. $$f(x)\leq 0$$
2. $$F(+\infty)=1$$
3. $$P(x_1<X<x_2)=\int_{x_1}^{x_2}f(t)dt$$
4. $$F‘(x)=f(x)$$
5. $$f(x)$$ 可以大于1
6. 概率密度对 $>,\geq ,<,\leq$ 不敏感，即对端点取值不敏感

第13讲 均匀分布和指数分布

• 均匀分布 Uniform Distribution
• $$f(x)=\frac{1}{b-a} a\leq x<b$$
• $$F(x)=\frac{x-a}{b-a} a\leq x<b$$
• 记为 $X\sim U(a,b)$ 或 $X\sim Unif(a,b)$
• 指数分布 Exponential Distribution
• $$f(x)=\lambda e^{-\lambda x} x>0$$
• $$F(x)=1-e^{-\lambda x} x>0$$
• 记为 $X\sim E(\lambda)$ 或 $X\sim Emp(\lambda)$
• 指数分布具有无记忆性（Memoryless Property）且在连续性随机变量的分布中，只有指数分布具有无记忆性
• 实例：设旅客等待时间服从指数分布，则已知旅客已经等了20分钟，求旅客再等5分钟的概率，和旅客从头开始等5分钟的概率相同
  • 即 $P(X>25|X>20)=P(X>5)$
• 指数分布常用来表示独立随机事件发生的时间间隔，如中文维基百科新条目出现的时间间隔
• 在排队论中，一个顾客接受服务的时间长短也可以用指数分布来近似

第14讲 正态分布

• 正态分布 Normal Distribution
• $$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
• 记为 $X\sim N(\mu, \sigma^2)$
• 性质
• 关于 $x=\mu$ 对称
• $$f_{max}=f(\mu)=\frac{1}{\sqrt{2\pi}\sigma}$$
• $$limf(x)=0$$
• 参数的性质
• 改变 $\mu$，$f(x)$ 只沿 $x$ 轴评议
• $\sigma$ 越大，$f(x)$ 越矮胖，$\sigma$ 称为尺度参数
• 实例：身高，体重，测量误差，多个随机变量的和
• 标准正态分布
• $$Z\sim N(0,1)$$
• $$\phi(z)=\frac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}$$
• $$\Phi(z)=\int_{-\infty}^z\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt$$
• $\Phi(z)$ 有标准正态分布函数表
• 一般正态分布转为标准正态分布
• 当 $X\sim N(\mu,\sigma^2)$ 时，$(x-\mu)/\sigma\sim N(0,1)$
• $$F_x(a)=P(x\leq a)=P(\frac{x-\mu}{\sigma}\leq \frac{a-\mu}{\sigma})=\Phi(\frac{a-\mu}{\sigma})$$
• $3\sigma$ 准则
• 当 $x$ 落在 $(-3\sigma,3\sigma)$ 的概率为 $99.73%$

第15讲 随机变量函数的分布

• 已知 $X$ 的概率分布，已知 $Y=g(x)$，求 $Y$ 的概率分布

• 先给出 $Y$ 的可能分布，再利用等价事件来给出概率分布
• 离散型随机变量，直接利用分布律求解即可

• 连续型随机变量，先利用分布函数找到等价事件，再利用概率密度函数即可

• 定理

• 若 $Y=g(x)$，$g‘(x)>0$ 或 $g‘(x)<0$
• $$f_Y(y)=f_x(h(y))\cdot |h‘(y)| \alpha<y<\beta$$
• $h(y)$ 是 $g(x)$ 的概率密度函数的反函数

• $\alpha$ 和 $\beta$ 是根据 $x$ 与 $y$ 的对应关系求得的

• 一般的

• 若 $X\sim N(\mu,\sigma^2)$，$Y=aX+b$，则 $Y\sim (a\mu +b,a^2\sigma^)$

## 作者拓展

• 当前的所有分布
  • 二项分布 Binomial Distribution
  • 泊松分布 Poisson Distribution
  • 几何分布 Geometric Distribution
  • 均匀分布 Uniform Distribution
  • 指数分布 Exponential Distribution
  • 正态分布 Normal Distribution# 概率论与数理统计笔记 第二章 随机变量及其概率分布

概率论与数理统计笔记（计算机专业） 作者： CATPUB 新浪微博：@catpub

课程：中国大学MOOC浙江大学概率论与数理统计

部分平台可能无法显示公式，若公式显示不正常可以前往CSDN或作业部落进行查看

第9讲 随机变量

• 定义
• 随机变量 $X(e)$，$X$ 是 $S\to R$ 的函数，$e$ 是样本点
• 自变量 $e\subset S$
• 随机事件 $A={e|X(e)=I}={X=I}$

• 如多次投掷骰子，随机事件 {6点在第3次出现} 可以记作 ${X=3}$，$X$ 是随机变量

• 随机变量

• 离散型随机变量，值的集合的基数小于等于阿列夫零（离散数学概念）

• 连续型随机变量

• 分布律

• $X$	$x_1$	$x_2$	$...$	$x_k$	$...$
  $P$	$p_1$	$p_2$	$...$	$p_k$	$...$

• $$P(X=x_k)=p_k (k=1,2,...)$$

• 几何分布 Geometric Distribution

• 多次投掷骰子，$6?$ 点第一次出现时投掷的次数

• $X$	$1$	$2$	$3$	$...$	$k$	$...$
  $P$	$$\frac{1}{6}$$	$$\frac{5}{6}\cdot\frac{1}{6}$$	$$(\frac{5}{6})^2 \cdot\frac{1}{6}$$	$...$	$$(\frac{5}{6})^{k-1} \cdot\frac{1}{6}$$	$$...$$

  ?

第10讲 离散型随机变量

• $0\text{-}1$分布（两点分布）

• $$P(X=k)=p^k(1-p)^{n-k}$$

• $X$	$0$	$1$
  $P$	$1-p$	$1-p$

  ?

• 若X服从两点分布，则单次试验称为伯努利（Bernoulli）试验

• 0

  记为$X\sim 0\text{-}1(p)$

• 也记为 $X\sim B(1,p)?$，$B?$ 是Binomial的意思，两点分布可以看作Binomial分布的特例

• $\sim$ 读作服从于

• 二项分布 Binomial Distribution

• $$P(X=k)=C_n^k\cdot P^k\cdot (1-p)^{n-k}$$
• $n$ 重Bernoulli实验，事件发生次数 $k$ 的统计规律

• 记为$X\sim B(n,p)$

• 泊松分布 Poisson Distribution

• $$P(X=k)=\frac{\lambda^k e^{-\lambda}}{k!} (k=0,1,2,...)$$

• 记为 $X\sim \pi(\lambda)$ 或 $x\sim P(\lambda)$

• Poisson Distribution与Binomial Distribution的关系

• 当 $n$ 很大 $p$ 很小的时候

• $$C_n^k P^k (1-p)^{n-k}=\frac{\lambda^k e^{-\lambda}}{k!} \lambda=np$$

• 几何分布 Geometric Distribution

• $P(X=k)=p(1-p)^{k-1}$
• 记为 $X\sim Geom(p)$

• 实例：研究段誉多少次施展武功能成功的统计规律

第11讲 分布函数

• 定义
• $F_X(x)=P(X\leq x)$
• 离散型的随机变量分布函数为阶梯函数
• 性质
• $P(a<X\leq b)=F(b)-F(a)$
• $P(a<X<b)=F(b-0)-F(a)$
• $P(X=b)=F(b)-F(b-0)$
• $F(x)$ 单调不减
• $F(-\infty)=0,F(+\infty)=1$
• $F(x)$ 右连续

第12讲 连续性随机变量及其概率密度

• 定义
• $$F(x)=\int_{-\infty}^x f(t)dt$$
• $F(x)$ 为连续型随机变量的分布函数
• $f(t)$ 为连续型随机变量的概率密度函数
• 若一个随机变量有概率密度函数则其一定为随机变量
• 性质

1. $$f(x)\leq 0$$
2. $$F(+\infty)=1$$
3. $$P(x_1<X<x_2)=\int_{x_1}^{x_2}f(t)dt$$
4. $$F‘(x)=f(x)$$
5. $$f(x)$$ 可以大于1
6. 概率密度对 $>,\geq ,<,\leq$ 不敏感，即对端点取值不敏感

第13讲 均匀分布和指数分布

• 均匀分布 Uniform Distribution
• $$f(x)=\frac{1}{b-a} a\leq x<b$$
• $$F(x)=\frac{x-a}{b-a} a\leq x<b$$
• 记为 $X\sim U(a,b)$ 或 $X\sim Unif(a,b)$
• 指数分布 Exponential Distribution
• $$f(x)=\lambda e^{-\lambda x} x>0$$
• $$F(x)=1-e^{-\lambda x} x>0$$
• 记为 $X\sim E(\lambda)$ 或 $X\sim Emp(\lambda)$
• 指数分布具有无记忆性（Memoryless Property）且在连续性随机变量的分布中，只有指数分布具有无记忆性
• 实例：设旅客等待时间服从指数分布，则已知旅客已经等了20分钟，求旅客再等5分钟的概率，和旅客从头开始等5分钟的概率相同
  • 即 $P(X>25|X>20)=P(X>5)$
• 指数分布常用来表示独立随机事件发生的时间间隔，如中文维基百科新条目出现的时间间隔
• 在排队论中，一个顾客接受服务的时间长短也可以用指数分布来近似

第14讲 正态分布

• 正态分布 Normal Distribution
• $$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$
• 记为 $X\sim N(\mu, \sigma^2)$
• 性质
• 关于 $x=\mu$ 对称
• $$f_{max}=f(\mu)=\frac{1}{\sqrt{2\pi}\sigma}$$
• $$limf(x)=0$$
• 参数的性质
• 改变 $\mu$，$f(x)$ 只沿 $x$ 轴评议
• $\sigma$ 越大，$f(x)$ 越矮胖，$\sigma$ 称为尺度参数
• 实例：身高，体重，测量误差，多个随机变量的和
• 标准正态分布
• $$Z\sim N(0,1)$$
• $$\phi(z)=\frac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}$$
• $$\Phi(z)=\int_{-\infty}^z\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt$$
• $\Phi(z)$ 有标准正态分布函数表
• 一般正态分布转为标准正态分布
• 当 $X\sim N(\mu,\sigma^2)$ 时，$(x-\mu)/\sigma\sim N(0,1)$
• $$F_x(a)=P(x\leq a)=P(\frac{x-\mu}{\sigma}\leq \frac{a-\mu}{\sigma})=\Phi(\frac{a-\mu}{\sigma})$$
• $3\sigma$ 准则
• 当 $x$ 落在 $(-3\sigma,3\sigma)$ 的概率为 $99.73%$

第15讲 随机变量函数的分布

• 已知 $X$ 的概率分布，已知 $Y=g(x)$，求 $Y$ 的概率分布

• 先给出 $Y$ 的可能分布，再利用等价事件来给出概率分布
• 离散型随机变量，直接利用分布律求解即可

• 连续型随机变量，先利用分布函数找到等价事件，再利用概率密度函数即可

• 定理

• 若 $Y=g(x)$，$g‘(x)>0$ 或 $g‘(x)<0$
• $$f_Y(y)=f_x(h(y))\cdot |h‘(y)| \alpha<y<\beta$$
• $h(y)$ 是 $g(x)$ 的概率密度函数的反函数

• $\alpha$ 和 $\beta$ 是根据 $x$ 与 $y$ 的对应关系求得的

• 一般的

• 若 $X\sim N(\mu,\sigma^2)$，$Y=aX+b$，则 $Y\sim (a\mu +b,a^2\sigma^)$

## 作者拓展

• 当前的所有分布
  • 二项分布 Binomial Distribution
  • 泊松分布 Poisson Distribution
  • 几何分布 Geometric Distribution
  • 均匀分布 Uniform Distribution
  • 指数分布 Exponential Distribution
  • 正态分布 Normal Distribution