贝叶斯的学习
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了贝叶斯的学习相关的知识，希望对你有一定的参考价值。
贝叶斯法则
贝叶斯法则又被称为贝叶斯定理、贝叶斯规则，是指概率统计中的应用所观察到的现象对有关概率分布的主观判断（即先验概率）进行修正的标准方法。当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。
贝叶斯统计中的两个基本概念是先验分布和后验分布：
1、先验分布。总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于总体分布参数θ的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据，可以部分地或完全地基于主观信念。
2、后验分布。根据样本分布和未知参数的先验分布，用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分布。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及样本分布。
贝叶斯公式为
P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)
P(A|B)=P(B|A)*P(A)/P(B)
其中：
1、P(A)是A的先验概率或边缘概率，称作"先验"是因为它不考虑B因素。
2、P(A|B)是已知B发生后A的条件概率，也称作A的后验概率。
3、P(B|A)是已知A发生后B的条件概率，也称作B的后验概率，这里称作似然度。
4、P(B)是B的先验概率或边缘概率，这里称作标准化常量。
5、P(B|A)/P(B)称作标准似然度。
贝叶斯法则又可表述为：
后验概率=(似然度*先验概率)/标准化常量=标准似然度*先验概率
P(A|B)随着P(A)和P(B|A)的增长而增长，随着P(B)的增长而减少，即如果B独立于A时被观察到的可能性越大，那么B对A的支持度越小。
贝叶斯估计
贝叶斯估计对经典计量经济学模型估计方法的扩展在于，它不仅利用样本信息，同时利用非样本信息。
贝叶斯估计
在经典计量经济学模型中广泛采用的最小二乘估计，以及本章讨论的最大似然函数估计和广义矩估计的一个共同特征是，在模型估计中只利用样本信息和关于总体分布的先验信息，而关于分布的先验信息仍然需要通过样本信息的检验，所以说到底还是样本信息。
由于模型估计依赖样本信息，这就要求样本信息足够多，因此，这些估计只有在大样本情况下才具有一定的优良性质。但是在许多实际应用研究中，人们无法重复大量的实验以得到大量的观测结果，只能得到少量的观测结果。在小样本情况下，最小二乘估计、最大似然估计和广义矩估计不再具有优良性质。因而，人们不得不寻求小样本情况下的优良估计方法。贝叶斯估计方法就是其中之一。
a、贝叶斯方法的基本思路
贝叶斯方法的基本思路是：假定要估计的模型参数是服从一定分布的随机变量，根据经验给出待估参数的先验分布（也称为主观分布），关于这些先验分布的信息被称为先验信息；然后根据这些先验信息，并与样本信息相结合，应用贝叶斯定理求出待估参数的后验分布；再应用损失函数，得出后验分布的一些特征值，并把它们作为待估参数的估计量。
贝叶斯方法与经典估计方法的主要不同之处是：
（a）关于参数的解释不同
经典估计方法认为待估参数具有确定值，它的估计量才是随机的，如果估计量是无偏的，该估计量的期望等于那个确定的参数；而贝叶斯方法认为待估参数是一个服从某种分布的随机变量。
（b）所利用的信息不同
经典方法只利用样本信息；贝叶斯方法要求事先提供一个参数的先验分布，即人们对有关参数的主观认识，被称为先验信息，是非样本信息，在参数估计过程中，这些非样本信息与样本信息一起被利用。
（c）对随机误差项的要求不同
经典方法，除了最大似然法，在参数估计过程中并不要求知道随机误差项的具体分布形式，但是在假设检验与区间估计时是需要的；贝叶斯方法需要知道随机误差项的具体分布形式。
（d）选择参数估计量的准则不同
经典估计方法或者以残差平方和最小，或者以似然函数值最大为准则，构造极值条件，求解参数估计量；贝叶斯方法则需要构造一个损失函数，并以损失函数最小化为准则求得参数估计量。
以上是关于贝叶斯的学习的主要内容，如果未能解决你的问题，请参考以下文章
基于朴素贝叶斯的wine数据集分类预测-机器学习实验四-朴素贝叶斯