Advanced Algorithm 听课笔记（Useful Inequalities & Balls and Bins）
Posted 糖果天王
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Advanced Algorithm 听课笔记（Useful Inequalities & Balls and Bins）相关的知识，希望对你有一定的参考价值。
0x00 前言
作为学术生涯的最后一门课，选了一门据说是最难的，上下来的感觉也确实是难得不行，不太懂……
决定照着ppt和上课的笔记整理一下，以此争取达到复习的目的。
（意思是有些虽然写出来了，但自己都不见得明白，有的部分存疑后续去询问之后再做修改）
Useful Inequalities
在随机算法的问题中有大量不等式常被使用，为了在运用时能想得起来，有些甚至要背熟。
0x01 Union Bound
Randomized Algorithm - Chapter 3.2 (P45)
n个随机事件各自发生的概率之和，不小于这n个事件中至少有一个发生的概率
Let
E
i
E_i
Ei be a random event, then we have
P
r
[
∪
i
=
1
n
E
i
]
≤
∑
i
=
1
n
P
r
(
E
i
)
Pr[\\cup_i=1^nE_i] \\le \\sum_i=1^nPr(E_i)
Pr[∪i=1nEi]≤i=1∑nPr(Ei)
0x02 马尔可夫不等式 (Markov Inequality)
Let
Y
Y
Y be a random variable assuming only non-negative values. Then
for all
t
>
0
,
P
r
[
Y
≥
t
]
≤
E
[
Y
]
t
\\textfor all t>0,~Pr[Y \\ge t]\\le \\fracE[Y]t
for all t>0, Pr[Y≥t]≤tE[Y]
0x03 切比雪夫不等式 (Chebyshev’s Inequality)
Let
X
X
X be a random variable with expectation
μ
X
\\mu_X
μX and standard deviation
σ
X
\\sigma_X
σX, then
for any
t
>
0
,
P
r
[
∣
X
−
μ
X
∣
≥
t
σ
X
]
≤
1
t
2
\\textfor any t>0,~Pr[|X-\\mu_X|\\ge t\\sigma_X] \\le \\frac1t^2
for any t>0, Pr[∣X−μX∣≥tσX]≤t21
0x04 切尔诺夫约束 (Chernoff’s Bound)
Randomized Algorithm - Chapter 4.1 (P67)
切尔诺夫约束有三种表现方式，在多个独立的泊松实验中
Let
X
1
,
X
2
,
⋯
 
,
X
n
X_1, X_2, \\cdots, X_n
X1,X2,⋯,Xn be independent Poisson trials such that,
for
1
≤
i
≤
n
,
P
r
[
X
i
=
1
]
=
p
i
1 \\le i \\le n,~Pr[X_i=1]=p_i
1≤i≤n, Pr[Xi=1]=pi, where
0
<
p
i
<
1
0<p_i<1
0<pi<1. Then
Chernoff’s Bound(1)
for
X
=
∑
i
=
1
n
X
i
,
μ
=
E
[
X
]
=
∑
i
=
1
n
p
i
,
and any
δ
>
0
,
\\textfor X=\\sum_i=1^nX_i,~\\mu=E[X]=\\sum_i=1^np_i, \\text and any \\delta>0,
for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any δ>0,
P
r
[
X
>
(
1
+
δ
)
μ
]
<
[
e
δ
(
1
+
δ
)
(
1
+
δ
)
]
μ
Pr[X>(1+\\delta)\\mu]<\\left[ \\frace^\\delta(1+\\delta)^(1+\\delta) \\right]^\\mu
Pr[X>(1+δ)μ]<[(1+δ)(1+δ)eδ]μ
Chernoff’s Bound(2)
for
X
=
∑
i
=
1
n
X
i
,
μ
=
E
[
X
]
=
∑
i
=
1
n
p
i
,
and any
0
<
δ
<
1
,
\\textfor X=\\sum_i=1^nX_i,~\\mu=E[X]=\\sum_i=1^np_i, \\text and any 0<\\delta<1,
for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any 0<δ<1,
P
r
[
X
<
(
1
−
δ
)
μ
]
<
[
e
−
δ
(
1
−
δ
)
(
1
−
δ
)
]
μ
Pr[X<(1-\\delta)\\mu]<\\left[ \\frace^-\\delta(1-\\delta)^(1-\\delta) \\right]^\\mu
Pr[X<(1−δ)μ]<[(1−δ)(1−δ)e−δ]μ
Chernoff’s Bound(3)
for
X
=
∑
i
=
1
n
X
i
,
μ
=
E
[
X
]
=
∑
i
=
1
n
p
i
,
and any
0
<
δ
<
1
,
\\textfor X=\\sum_i=1^nX_i,~\\mu=E[X]=\\sum_i=1^np_i, \\text and any 0<\\delta<1,
for X=i=1∑nXi, μ=E[X]=i=1∑npi, and any 0<δ<1,
P
r
[
∣
X
−
μ
∣
>
δ
μ
]
<
2
e
−
δ
2
3
μ
Pr[|X-\\mu| >\\delta\\mu]<2e^-\\frac\\delta^23\\mu
Pr[∣X−μ∣>δμ]<2e−3δ2μ
0x05 Prove in detail
Chebyshev’s Inequality in 0x03
Let X X X be a random variable with expectation μ X \\mu_X μ以上是关于Advanced Algorithm 听课笔记（Useful Inequalities & Balls and Bins）的主要内容，如果未能解决你的问题，请参考以下文章
PAT (Advanced Level) 1085. Perfect Sequence (25)
NTU课程笔记：MAS 714 algorithm and theory of computing：introduction
HP ProLiant 界面 smart arroy advanced没打对