为啥我们选择 Beta 分布作为假设的先验?

Posted

技术标签:

【中文标题】为啥我们选择 Beta 分布作为假设的先验?【英文标题】:Why do we choose Beta distribution as a prior on hypothesis?为什么我们选择 Beta 分布作为假设的先验? 【发布时间】:2018-03-30 13:11:16 【问题描述】:

我看过 CMU 的 Tom Mitchell 2011 年 10-701 年课程的机器学习课程视频。当他在 theta 上使用 Beta 分布作为先验时,他正在教授最大似然估计主题,我不知道他只选择了那个?

【问题讨论】:

【参考方案1】:

在this lecture 中,Mitchell 教授给出了一个抛硬币的例子并估计了它的公平性,即正面的概率 - theta。他合理地为这个实验选择了binomial distribution。

选择beta distribution 作为先验的原因是在计算后验时简化数学。这很好用,因为 beta 是 conjugate prior for binomial - 在同一讲座的最后,教授提到了它。这并不意味着一个人不可能使用任何其他先验,例如正态、泊松等。但其他先验导致复杂的后验分布,难以优化、计算积分等。

这是一个一般原则:在更复杂的分布之前更喜欢共轭,即使它不能完全拟合数据,因为数学更简单。

【讨论】:

以上是关于为啥我们选择 Beta 分布作为假设的先验?的主要内容,如果未能解决你的问题,请参考以下文章

Beta分布

潜在狄利克雷分配(LDA)

概率统计笔记:贝叶斯线性回归

机器学习算法总结——朴素贝叶斯

数学基础-概率论与贝叶斯先验

数学基础-概率论与贝叶斯先验