实例复习机器学习数学 - 2. 几种典型离散随机变量分布
Posted 干货满满张哈希
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了实例复习机器学习数学 - 2. 几种典型离散随机变量分布相关的知识，希望对你有一定的参考价值。
随机变量的引入
上一节我们讨论的都是随机事件，某一个随机事件可能包含若干个随机试验样本空间中的随机结果，如果对于每一个可能的实验结果都关联一个特定的值，这样就形成了一个随机变量。
例如抛一个骰子，将抛出的骰子的值作为随机变量的值；足球比赛，将某一只球队进球的个数作为随机变量的值；抛一根标枪，抛出的距离作为随机变量的值；今年一年的降水量作为随机变量等等。
离散型随机变量相关概念
随机变量的取值并不是连续的，而是有限个数值，或者是可以计数的无限个数值，这样的随机变量被称为离散随机变量。回顾一下上面提出的四个例子，投一个骰子，将抛出的骰子的值作为随机变量的值，这些值只可能是 1，2，3，4，5，6，所以是离散随机变量分布；足球比赛，将某一只球队进球的个数作为随机变量的值，这个进球数可能是无限个，只不过数值很大的时候概率很低而已，这也是离散随机变量分布。但是对于抛一根标枪，抛出的距离作为随机变量的值和今年一年的降水量作为随机变量这些是无法计数的，被称为连续随机变量。
对于离散随机变量，搞清楚每个值的概率也是很重要的，将随机变量的每个值映射到其概率上，这就是概率质量函数(PMF).记随机变量为 X X X，PMF 为 P ( X = k ) P(X=k) P(X=k)。接下来，我们就来详细说明几种典型的随机变量以及其概率质量函数。
只有两种可能的多次实验分布 - 二项分布
我们有如下几个例子：
- 射门 n 次，假设进球概率为 p p p，每次射门彼此之间都是相互独立的，随机变量 X X X 对应 n 次射门进球的次数。
- 投一个硬币 n 次，假设正面朝上的概率为 p p p，每次抛掷彼此之间都是相互独立的，随机变量 X X X 对应 n 次抛掷得到的是正面的次数。
- 坐某个航班的飞机，假设准点到达的概率为 p p p，每次这个航班到达彼此之间都是相互独立的，随机变量 X X X 对应 n 次航班准点的次数。
以上这些例子中，都可以理解为在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能：发生或者不发生。我们假设该项试验独立重复地进行了 n 次，那么就称这一系列重复独立的随机试验为 n 重伯努利试验。n 重伯努利试验结果的分布就是二项分布
二项分布的 PMF为：
P
(
X
=
k
)
=
C
n
k
p
k
(
1
−
p
)
n
−
k
P(X = k) = C_n^kp^k(1-p)^{n-k}
P(X=k)=Cnkpk(1−p)n−k
根据 PMF 推导期望与方差，假设伯努利实验的随机变量只有两个值 0（不发生），1（发生），那么 n 次试验的期望为：
E
[
X
]
=
1
C
n
1
p
(
1
−
p
)
n
−
1
+
2
C
n
2
p
2
(
1
−
p
)
n
−
2
+
.
.
.
+
(
n
−
1
)
C
n
n
−
1
p
n
−
1
(
1
−
p
)
+
n
C
n
n
p
n
E[X] = 1C_n^1p(1-p)^{n-1} + 2C_n^2p^2(1-p)^{n-2} + ... + (n-1)C_n^{n-1}p^{n-1}(1-p) + nC_n^np^{n}
E[X]=1Cn1p(1−p)n−1+2Cn2p2(1−p)n−2+...+(n−1)Cnn−1pn−1(1−p)+nCnnpn
根据
k
C
n
k
=
n
C
n
−
1
k
−
1
kC_n^k = nC_{n-1}^{k-1}
kCnk=nCn−1k−1，则有：
E
[
X
]
=
n
C
n
−
1
0
p
(
1
−
p
)
n
−
1
+
n
C
n
−
1
1
p
2
(
1
−
p
)
n
−
2
+
.
.
.
+
n
C
n
−
1
n
−
2
p
n
−
1
(
1
−
p
)
+
n
C
n
n
p
n
E[X] = nC_{n-1}^0p(1-p)^{n-1} + nC_{n-1}^1p^2(1-p)^{n-2} + ... + nC_{n-1}^{n-2}p^{n-1}(1-p) + nC_n^np^{n}
E[X]=nCn−10p(1−p)n−1+nCn−11p2(1−p)n−2+...+nCn−1n−2pn−1(1−p)+nCnnpn
=
n
p
(
C
n
−
1
0
(
1
−
p
)
n
−
1
+
C
n
−
1
1
p
1
(
1
−
p
)
n
−
2
+
.
.
.
+
C
n
−
1
n
−
2
p
n
−
2
(
1
−
p
)
+
C
n
n
p
n
−
1
)
= np(C_{n-1}^0(1-p)^{n-1} + C_{n-1}^1p^1(1-p)^{n-2} + ... + C_{n-1}^{n-2}p^{n-2}(1-p) + C_n^np^{n-1})
=np(Cn−10(1−p)n−1+Cn−11p1(1−p)n−2+...+Cn−1n−2pn−2(1−p)+Cnnpn−1)
=
n
p
∑
k
=
0
n
−
1
C
n
−
1
n
−
1
−
k
p
k
(
1
−
p
)
n
−
1
−
k
= np\\sum_{k=0}^{n-1}C_{n-1}^{n-1-k}p^k(1-p)^{n-1-k}
=npk=0∑n−1Cn−1n−1−kpk(1−p)n−1−k
根据 $(p+q)^n = C_n0pnq^0 + C_n1p{n-1}q^{1} +… + C_n{n-1}p{1}q^{n-1} + C_nnp0q^n = \\sum_{k=0}{n}C_{n}{n-k}p{n-k}qk $，则有：
E
[
X
]
=
n
p
(
1
−
p
+
p
)
n
−
1
=
n
p
E[X] = np(1-p + p)^{n-1} = np
E[X]=np(1−p+p)n−1=np
n 次试验的方差为：
D
[
X
]
=
E
(
X
−
E
[
X
]
)
2
=
E
[
X
2
−
2
x
E
[
X
]
+
E
[
X
]
2
]
=
E
[
X
2
]
−
2
E
[
X
]
E
[
X
]
+
E
[
X
]
2
=
E
[
X
2
]
−
E
[
X
]
2
D[X] = E(X - E[X])^2 = E[X^2 - 2xE[X] + E[X]^2] = E[X^2] - 2E[X]E[X] + E[X]^2 = E[X^2] - E[X]^2
D[X]=E(X−E[X])2=E[X2−2xE[X]+E[X]2]= 以上是关于实例复习机器学习数学 - 2. 几种典型离散随机变量分布的主要内容，如果未能解决你的问题，请参考以下文章