贝叶斯分类器

Posted 2020-12-08 blairgrowing

贝叶斯

　　贝叶斯(约1701-1761) Thomas Bayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。他死后，理查德·普莱斯(Richard Price)于1763年将他的著作《机会问题的解法》(An essay towards solving a problem in the doctrine of chances)寄给了英国皇家学会，对于现代概率论和数理统计产生了重要的影响

贝叶斯决策理论

　　贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：
　　1、已知类条件概率密度参数表达式和先验概率。
　　2、利用贝叶斯公式转换成后验概率。
　　3、根据后验概率大小进行决策分类。

 

贝叶斯网络的应用

　　(1)故障诊断(diagnose)
　　(2)专家系统(expert system)
　　(3)规划(planning)
　　(4)学习(learning)
　　(5)分类(classifying)

样本空间的划分

 

 

 

全概率公式

 

 

基本方法

 

 

 

 

 

 

后验概率最大化的含义

 

 

 

 

朴素贝叶斯法的参数估计

 

 

 

 

 

 

 

 

 

 

 

贝叶斯估计

 

 

朴素贝叶斯网络的缺陷

 

 

朴素贝叶斯网络分类器的改进算法

　　半朴素贝叶斯分类器 (SNBC：Semi-Naive Bayesian Classifier)
　　选择贝叶斯分类器(SBC: Selective Bayesian Classifier)
　　树增广朴素贝叶斯网络分类器(TAN: Tree Augmented Naive Bayes)
　　平均一依赖估测器( AODE：averaged one dependence estimators)学习算法
　　加权平均的一依赖估测器(WAODE：weightily averaged one dependence estimators)学习算法
　　无约束贝叶斯网络分类器(GBN：General Baynes Network)
　　隐藏扩展的朴素贝叶斯分类算法(HANB)