详解使用EM算法的半监督学习方法应用于朴素贝叶斯文本分类

Posted yanmk

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了详解使用EM算法的半监督学习方法应用于朴素贝叶斯文本分类相关的知识,希望对你有一定的参考价值。

1.前言

  对大量需要分类的文本数据进行标记是一项繁琐、耗时的任务,而真实世界中,如互联网上存在大量的未标注的数据,获取这些是容易和廉价的。在下面的内容中,我们介绍使用半监督学习和EM算法,充分结合大量未标记的样本,以期获得文本分类更高的准确率。本文使用的是多项式朴素贝叶斯作为分类器,通过EM算法进行训练,使用有标记数据以及未标记的数据。研究了多类分类准确率与训练集中未标记数据的比例之间的关系。并探索方法来降低EM过程的计算代价来加速训练。结果显示,半监督EM-NB分类器可以在只给2%标记数据情况下达到大于50%的准确率,在给定33%标记数据情况下达到大于70%的准确率。本文来源于参考中的附录1,详细代码和介绍可以参见链接。

 

2.模型介绍

 

3.关键代码实现

 

X.参考

附录1:Text Classification Using EM and Semi-Supervised Learning

 

以上是关于详解使用EM算法的半监督学习方法应用于朴素贝叶斯文本分类的主要内容,如果未能解决你的问题,请参考以下文章

NLP重剑篇之朴素贝叶斯与隐马尔可夫

11.分类与监督学习,朴素贝叶斯分类算法

11.分类与监督学习,朴素贝叶斯分类算法

分类与监督学习,朴素贝叶斯分类算法

分类与监督学习,朴素贝叶斯分类算法

11.分类与监督学习,朴素贝叶斯分类算法