朴素贝叶斯算法

Posted 2022-06-28 lalalatianlalu

看的头秃，生活艰难

由条件概率可得，P(wi | x） = P(wi, x) / P(x)

套贝叶斯公式得，P(wi | x) = P(x | wi) * P(wi) / P(x)

通过比较P(wi | x)的大小决定分为哪一类中，由于分母相同，所以转化为比较P(x | wi) * P(wi) 的大小， P(wi)表示分类为wi分类的概率， P(x | wi)表示x在wi分类下的概率，以单词组向量为例，假设单词组向量中的每个单词都是相互独立的，那么总的概率等于各个部分概率相乘，统计每个单词在wi分类下出现的次数 / wi分类中每篇出现的单词总数，然后相乘。（这种方法好像叫做拉普拉斯平滑）

由于相互独立后如果单词没有出现最终得到的概率为0，所以将概率相乘转化为概率相加，对数字去对数，同样有单调性，同时防止特征过多而造成数据相乘越来越小，最后为0的情况，同样也是用对数处理的方法，同时给分母加底数

参考资料

1、《机器学习实战》

2、https://www.cnblogs.com/lliuye/p/9178090.html