理解先验概率和后验概率

Posted dahu的菜园子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了理解先验概率和后验概率相关的知识,希望对你有一定的参考价值。

理解一下这些基础知识

先验概率(prior probability)

是指根据以往经验和分析得到的概率,如全概率公式,它往往作为 "由因求果" 问题中的 "因" 出现的概率。

在贝叶斯统计中,先验概率分布,即关于某个变量 X 的概率分布,是在获得某些信息或者依据前,对 X 之不确定性所进行的猜测。这是对不确定性(而不是随机性)赋予一个量化的数值的表征,这个量化数值可以是一个参数,或者是一个潜在的变量。

先验概率仅仅依赖于主观上的经验估计,也就是事先根据已有的知识的推断。例如, X 可以是投一枚硬币,正面朝上的概率,显然在我们未获得任何其他信息的条件下,我们会认为 P(X)=0.5;再比如上面例子中的,P(G)=0.4

 

后验概率(Posterior probability)

后验概率是指在得到 “结果” 的信息后重新修正的概率,是 “执果寻因” 问题中的 "果"。
事情还没有发生,要求这件事情发生的可能性的大小,是先验概率。事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率。

后验概率是关于随机事件或者不确定性断言的条件概率,是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布,并且是在基于实验或者调查所获得的信息上的条件分布。“后验” 在这里意思是,考虑相关事件已经被检视并且能够得到一些信息。

后验概率是关于参数 θ 在给定的证据信息 X 下的概率,即 P(θ|X) 。若对比后验概率和似然函数,似然函数是在给定参数下的证据信息 X 的概率分布,即 P(X|θ) 。

  我们用 P(θ) 表示概率分布函数,用 P(X|θ) 表示观测值 X 的似然函数。后验概率定义为 P(θ|X)=P(X|θ)P(θ) / P(X),注意这也是贝叶斯定理所揭示的内容。

 

 举个例子:

比如,你刚去北京的时候,查了下北京历年来的天气情况,北京下雨的概率是多少,你就经验性的给了一个。这就是先验。
等你今天要出门的时候,你发现下雨了,于是你开始想,下雨前,有没有打雷尼?你开始猜测有多大的可能性打雷了,既然已经有了下雨的结果,对一些征兆发生的可能性做预测,这就是似然概率。
等下了班回去,你发现居然又打雷了,你开始想会不会下雨啊,于是根据观察数据,预测结果的概率,也就是后验。

以上是关于理解先验概率和后验概率的主要内容,如果未能解决你的问题,请参考以下文章

机器学习中的贝叶斯方法---先验概率似然函数后验概率的理解及如何使用贝叶斯进行模型预测

记录一些学习的内容方便学习

贝叶斯公式的直观理解(先验概率/后验概率)

[转] 先验概率与后验概率&&贝叶斯与似然函数

机器学习基础系列--先验概率 后验概率 似然函数 最大似然估计(MLE) 最大后验概率(MAE) 以及贝叶斯公式的理解

先验概率后验概率似然函数与机器学习中概率模型(如逻辑回归)的关系理解