为啥我们选择 Beta 分布作为假设的先验?
Posted
技术标签:
【中文标题】为啥我们选择 Beta 分布作为假设的先验?【英文标题】:Why do we choose Beta distribution as a prior on hypothesis?为什么我们选择 Beta 分布作为假设的先验? 【发布时间】:2018-03-30 13:11:16 【问题描述】:我看过 CMU 的 Tom Mitchell 2011 年 10-701 年课程的机器学习课程视频。当他在 theta 上使用 Beta 分布作为先验时,他正在教授最大似然估计主题,我不知道他只选择了那个?
【问题讨论】:
【参考方案1】:在this lecture 中,Mitchell 教授给出了一个抛硬币的例子并估计了它的公平性,即正面的概率 - theta。他合理地为这个实验选择了binomial distribution。
选择beta distribution 作为先验的原因是在计算后验时简化数学。这很好用,因为 beta 是 conjugate prior for binomial - 在同一讲座的最后,教授提到了它。这并不意味着一个人不可能使用任何其他先验,例如正态、泊松等。但其他先验导致复杂的后验分布,难以优化、计算积分等。
这是一个一般原则:在更复杂的分布之前更喜欢共轭,即使它不能完全拟合数据,因为数学更简单。
【讨论】:
以上是关于为啥我们选择 Beta 分布作为假设的先验?的主要内容,如果未能解决你的问题,请参考以下文章