贝叶斯分类器原理及其推导

Posted 中原百科

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了贝叶斯分类器原理及其推导相关的知识,希望对你有一定的参考价值。

今天学术一次,就和我们目前超级火的机器学习还又什么人工智能有关,我们今天要讲的就是贝叶斯分类器的原理和推导过程,由中原百科御用学术大牛方涛投稿,呱唧呱唧!



从贝叶斯公式到贝叶斯判别准则原来线性判别分析、平方判别分析、朴素贝叶斯这么简单直白。


前方将出现大量数学公式推导证明,为防止烦躁不适,先复习一下几个重要概念。



P(A|B)表示B事件发生时A事件发生的概率,往往不能直接求,而P(B|A)求起来较为方便。在这里为事件A发生的先验概率prior probability(先验概率就是指根据以往经验和分析得到的概率,可以是相对客观或者存在主观偏差的,比如抛硬币在历史上正反面的概率各是1/2,这就是在无数历史实验得到的客观准确概率)。P(A|B)为后验概率(posterior probability,即条件概率。



下面进入正题:对于常见的分类任务(classification),表示类别的随机变量Y的样本空间{1,2,……,K},对于样本属于第类的概率:

贝叶斯分类器原理及其推导

依据全概率公式将上式分母展开

贝叶斯分类器原理及其推导

其中是随机选择的样本观测值来自第类的先验概率


2.1.为标量值(scalar)时,

贝叶斯分类器原理及其推导

注意到分母 Y=1,2,…,K 对于都是一样的,其中参数贝叶斯分类器原理及其推导都需要从样本数据集中估计得到。要确定该样本属于哪一类,只有找到使得下式分子最大的k值(防止计算溢出取对数)

贝叶斯分类器原理及其推导

贝叶斯分类器原理及其推导


2.1 Linear Discriminant Analysis

贝叶斯分类器原理及其推导

贝叶斯分类器原理及其推导


贝叶斯分类器原理及其推导

2.2Quadratic Discriminant Analysis

贝叶斯分类器原理及其推导


2.3Naïve Bayesian Classifier

贝叶斯分类器原理及其推导


2.4Laplacian correction

为了避免因训练样本不充分导致的概率估值为0,需要进行拉普拉斯修正,设为训练集D(大小为|D|)中的可能类别数,为第i属性可能的取值数,为训练集|Dk|中属于第k类的样本数


参考文献:

1.The Elements of Statistical Learning  

2.The Introduction to Statistical Learning



源代码:


注:源代码可以在后台发送 贝叶斯 获取


以上是关于贝叶斯分类器原理及其推导的主要内容,如果未能解决你的问题,请参考以下文章

文本分类-贝叶斯分类器

徒手打造一个朴素贝叶斯分类器

机器学习笔记——朴素贝叶斯构建“饥饿站台”豆瓣短评情感分类器

详解线性分类-朴素贝叶斯分类器(Naive Bayes Classifer)白板推导系列笔记

贝叶斯分类

朴素贝叶斯分类器原理