常用的概率分布:二项式分布，贝塔分布，狄里克雷分布

Posted 2021-01-10 tianqizhi

知识点：伯努利分布、二项式分布、多项式分布、先验概率，后验概率，共轭分布、贝塔分布、贝塔-二项分布、负二项分布、狄里克雷分布，伽马函数、分布

一，伯努利分布(bernouli distribution)

---

又叫做0-1分布，指一次随机试验，结果只有两种。也就是一个随机变量的取值只有0和1。
记为: 0-1分布 或B(1,p)，其中 p 表示一次伯努利实验中结果为正或为1的概率。 

概率计算：

P(X=0)=p0P(X=1)=p1

期望计算：

E(X)=0?p0+1?p1=p

最简单的例子就是，抛一次硬币，预测结果为正还是反。

 

二，二项式分布(binomial distrubution)

---

表示n次伯努利实验的结果。

记为：X~B(n,p)，其中n表示实验次数，p表示每次伯努利实验的结果为1的概率，X表示n次实验中成功的次数。
概率计算：

期望计算：

例子就是，求多次抛硬币，预测结果为正面的次数。

 

三，多项式分布(multinomial distribution)

---

多项式分布是二项式分布的扩展，不同的是多项式分布中，每次实验有n种结果。
概率计算：

期望计算：

最简单的例子就是多次抛筛子，统计各个面被掷中的次数。

 

四，先验概率，后验概率，共轭分布

---

先验概率和后验概率 ：

先验概率和后验概率的概念是相对的，后验的概率通常是在先验概率的基础上加入新的信息后得到的概率，所以也通常称为条件概率。比如抽奖活动，5个球中有2个球有奖，现在有五个人去抽，小名排在第三个，问题小明抽到奖的概率是多少？初始时什么都不知道，当然小明抽到奖的概率P( X = 1 ) = 2/5。但当知道第一个人抽到奖后，小明抽到奖的概率就要发生变化，P(X = 1| Y₁ = 1) = 1/4。再比如自然语言处理中的语言模型，需要计算一个单词被语言模型产生的概率