共轭先验 | 共轭分布(转)

Posted Digital-LI

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了共轭先验 | 共轭分布(转)相关的知识,希望对你有一定的参考价值。

参考:

https://blog.csdn.net/xianlingmao/article/details/7340099

wiki

理解了贝叶斯之后,再理解这些概念就轻松很多,原文如下。


在贝叶斯统计中,如果后验分布与先验分布属于同类,则先验分布与后验分布被称为共轭分布,而先验分布被称为似然函数的共轭先验。比如,高斯分布家族在高斯似然函数下与其自身共轭 (自共轭)。这个概念,以及"共轭先验"这个说法,由 霍华德·拉法拉 和 罗伯特·施莱弗尔 在他们关于贝叶斯决策理论的工作中提出。[1] 类似的概念也曾由 乔治·阿尔弗雷德·巴纳德 独立提出。[2]

具体地说,就是给定贝叶斯公式 技术分享图片 假定似然函数 技术分享图片 是已知的,问题就是选取什么样的先验分布技术分享图片 会让后验分布与先验分布具有相同的数学形式

共轭先验的好处主要在于代数上的方便性,可以直接给出后验分布的封闭形式,否则的话只能数值计算。共轭先验也有助于获得关于似然函数如何更新先验分布的直观印象。

所有指数家族的分布都有共轭先验。 

共轭有利于形成贝叶斯链,方便迭代计算。

 

以上是关于共轭先验 | 共轭分布(转)的主要内容,如果未能解决你的问题,请参考以下文章

概率统计笔记:共轭分布

Dirichlet分布深入理解

概率统计笔记:贝叶斯线性回归

高斯伽马分布

深度学习必须掌握的 13 种概率分布

LDA详解