统计学习方法 第4章 朴素贝叶斯法

Posted 2021-04-02 深度学习入门笔记

朴素贝叶斯，它是一种简单但极为强大的预测建模算法。之所以称为朴素贝叶斯，是因为它假设每个输入变量是独立的。这个假设很硬，现实生活中根本不满足，但是这项技术对于绝大部分的复杂问题仍然非常有效。

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大输出y。

1

●

朴素贝叶斯原理

贝叶斯为了解决一个叫“逆向概率”问题写了一篇文章，尝试解答在没有太多可靠证据的情况下，怎样做出更符合数学逻辑的推测。

正向概率的问题很容易理解，比如我们已经知道袋子里面有 N 个球，不是黑球就是白球，其中 M 个是黑球，那么把手伸进去摸一个球，就能知道摸出黑球的概率是多少。但这种情况往往是上帝视角，即了解了事情的全貌再做判断。

在现实生活中，我们很难知道事情的全貌。贝叶斯则从实际场景出发，提了一个问题：如果我们事先不知道袋子里面黑球和白球的比例，而是通过我们摸出来的球的颜色，能判断出袋子里面黑白球的比例么？

朴素贝叶斯法通过训练数据集学习联合概率分布   。具体地，学习以下先验概率分布及条件概率分布。

先验概率：根据以往的经验或数据分析得到的概率P(X)

后验概率：根据先验概率得到的是后验概率P(Y|X)，实际上贝叶斯原理就是求解后验概率。

条件概率：事件 A 在另外一个事件 B 已经发生条件下的发生概率，表示为 P(A|B)。

朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。具体地，条件独立性假设是：

条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易于实现。其缺点是分类的性能不一定很高。

朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。

将输入x分到后验概率最大的类y。

后验概率最大等价于0-1损失函数时的期望风险最小化。

2

●

常见的三种贝叶斯模型

在sklearn中，提供了若干种朴素贝叶斯的实现算法，不同的朴素贝叶斯算法，主要是对P(xi|y)的分布假设不同，进而采用不同的参数估计方式。我们能够发现，朴素贝叶斯算法，主要就是计算P(xi|y)，一旦P(xi|y)确定，最终属于每个类别的概率，自然也就迎刃而解了。

• 高斯朴素贝叶斯
  

• 伯努利朴素贝叶斯
  

• 多项式朴素贝叶斯

参考来源：

https://blog.csdn.net/qiu_zhi_liao/article/details/90671932?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522161338084416780274142617%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&request_id=161338084416780274142617&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-1-90671932.pc_search_result_cache&utm_term=%25E6%259C%25B4%25E7%25B4%25A0%25E8%25B4%259D%25E5%258F%25B6%25E6%2596%25AF%25E5%258E%259F%25E7%2590%2586

https://blog.csdn.net/ws19920726/article/details/105726570?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522161339229516780262547348%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&request_id=161339229516780262547348&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-2-105726570.pc_search_result_cache&utm_term=%25E6%259C%25B4%25E7%25B4%25A0%25E8%25B4%259D%25E5%258F%25B6%25E6%2596%25AF+%25E9%25AB%2598%25E6%2596%25AF

https://blog.csdn.net/qq_27009517/article/details/80044431?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522161339229516780262547348%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&request_id=161339229516780262547348&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-1-80044431.pc_search_result_cache&utm_term=%25E6%259C%25B4%25E7%25B4%25A0%25E8%25B4%259D%25E5%258F%25B6%25E6%2596%25AF+%25E9%25AB%2598%25E6%2596%25AF

 END

深度学习入门笔记

日常更新学习笔记、论文简述