哈尔滨工业大学计算机学院-模式识别-课程总结-贝叶斯决策理论

Posted szxspark

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了哈尔滨工业大学计算机学院-模式识别-课程总结-贝叶斯决策理论相关的知识,希望对你有一定的参考价值。

一、贝叶斯决策理论

贝叶斯决策理论是解决分类问题的一种基本统计途径,其出发点是利用概率的不同分类决策,与相应决策所付出的代价进行折中,它假设决策问题可以用概率的形式描述,并且假设所有有关的概率结构均已知。

二、各种概率及其关系

  • 先验概率:
    [P(omega_i)]
  • 后验概率:
    [P(omega_i | x)]
  • 类条件概率:
    [P(x |omega_i )]
  • 贝叶斯公式:
    [P left( omega _ { i } | mathbf { x } ight) = frac { P ( mathbf { x } | omega _ { i } ) P left( omega _ { i } ight) } { P ( mathbf { x } ) }]

    三、最小错误率准则

  • 判别(x)属于(w=omega_i)的错误率:
    [P ( ext { error } | mathbf { x } ) = sum _ { j eq i } P left( omega _ { j } | mathbf { x } ight) = 1 - P left( omega _ { i } | mathbf { x } ight)]
  • 判别准则:
    [i = arg max _ { 1 leq j leq c } P left( omega _ { j } | mathbf { x } ight)]
    (c)是所有类别总数,根据该将(x)归为(omega_i)
  • 根据贝叶斯公式,构造出判别函数(g _ { j } ( mathbf { x } ) = p ( mathbf { x } | omega _ { j } ) P left( omega _ { j } ight)),即先验概率与类条件概率的乘积。

    贝叶斯公式的分母(P(x)),只是起到标量因子的左右,保证各类别的后验概率值的和为1。

    四、最小平均风险准则

  • 一共有(c)个类别,将(w_i)类的样本判别为(w_j)类的代价为(lambda_{ij})
  • 将未知模式(x)判别为(w_j)类的平均风险(g_j(x))为:
    [g _ { j } ( mathbf { x } ) = - gamma _ { j } ( mathbf { x } )]
    [gamma _ { j } ( mathbf { x } ) = sum _ { i = 1 } ^ { c } lambda _ { i j } P left( omega _ { i } | mathbf { x } ight)]

    五、总结

  • 本博客只介绍了部分贝叶斯分类器准则,关于正态分布的贝叶斯分类器没有介绍。
  • 根据最小错误率准则,或最小平均风险准则,不难看出,贝叶斯分类器是生成式模型,不能构造一个区分不同类别的判别函数,而是考察待识别模式由不同类别所产生的概率,最后根据不同类别产生该模式的概率大小来决定他的类别属性。后续博客会介绍其他的判别式模型,关于生成式模型与判别式模型的区别可以看我以前的博客生成模型(generative model)与判别模型(discriminative model)的区别










以上是关于哈尔滨工业大学计算机学院-模式识别-课程总结-贝叶斯决策理论的主要内容,如果未能解决你的问题,请参考以下文章

哈尔滨工业大学计算机学院-模式识别-课程总结-线性判别函数

边缘计算导论——中山大学程旭老师课程总结

今晚7:30论文解读直播 | 无权网络零模型与模体朴素贝叶斯模型

在线课程集合(集美大学计算机工程学院)

北京交通大学海滨学院计算机科学与技术课程,北京交通大学海滨学院计算机科学与技术专业2016年在内蒙古理科高考录取最低分数线...

哈尔滨工程大学计算机学院2022年区块链技术课程-比特币的双花问题