机器学习贝叶斯公式

Posted 2020-09-14 kotete

原文链接

 假设已知先验概率P(ω_j)，也知道类条件概率密度p(x|ω_j)，且j=1,2.那么，处于类别ω_j，并具有特征值x的模式的联合概率密度可写成两种形式：

p(ω_j,x) = P(ω_j|x)p(x) = p(x|ω_j)P(ω_j)

整理后得出贝叶斯公式（只有两种类型的情况下）

下面分别介绍一下后验概率、似然函数、先验概率以及证据因子。

1、后验概率

后验概率P(ω_j|x)，即假设特征值x已知的条件下类别属于ω_j的概率。

2、似然函数

p(x|ω_j)为ω_j关于x的似然函数，也成为类条件概率密度函数，表明类别状态为ω时的x的概率密度函数^*。

3、先验概率

先验概率P(ω_j)是由先验知识而获得的。

4、证据因子

证据因子的存在知识为了保证各类别的后验概率的总和为1^**。

 

补充：

*概率密度函数：

     在数学中，一个连续型随机变量的“概率密度函数”是一个描述这个随机变量的输出值在某一个确定的取值点附近的可能性的函数。

     而随机变量的取值落在某个区域之间的概率则是概率密度函数在这个区域上的积分。当概率密度函数存在的时候，累积分布函数是概率密度函数的积分。

**概率总和为1：

     一个函数 f(x) 要想成为密度函数，那么必须满足两个条件：

    ① f(x) >0, 这很好理解了……概率大于0嘛……比如说吃饭的概率，50%说明一半的可能我会吃饭，但是如果是-50%呢？难道是我吐了一半吗……很诡异吧

    ② ∫f(x)dx=1，概率就是某种可能性，如果把所有可能性都包括在内就可以证明这个事情一定是发生的，只是按照那种情况发生我们不知道而已，所以所有可能性的和为1.