贝叶斯_文本分析

Posted 2021-01-26 molloy-bonjour

一、文本关键词提取

1、过滤掉文本中出现的停用词

停用词：指与文章主题不相干的词，符号等。表现在：1、文本中大量出现；2、与主旨不相关；3、对于分析文本没用处

 

2、TF-IDF决定关键词

(1)首先进行词频（Term Frequency，TF），IDF，TF-IDF统计

TF-IDF统计方法用于评估某字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。主要思想：如果某一字词在一片文章中出现的平率TF越高，在其他文章中很少出现，则认为此字词具有很好的类别区分能力

     IDF: Inverse Document Frequency 逆文本频率

     IDF是TF的倒数，如果包含字词t的文档越少，IDF越大

     IDF不足：如果某一类文档C中包含词条t的文档数为m，而其它类包含t的文档总数为k，显然所有包含t的文档数n=m+k，当m大的时候，n也大，按照IDF公式得到的IDF的值会小，就说明该词条t类别区分能力不强，但是实际上，如果一个词条在一个类的文档中频繁出现，在其他文档中出现的较少，则说明该词条能够很好代表这个类的文本的特征，这样的词条应该给它们赋予较高的权重，并选来作为该类文本的特征词以区别与其它类文档。

    TF=某词在文章中出现次数/该文章中子词的总数

    IDF=log(语料库中的文档总数/包含该词的文档数+1)

    TF-IDF=TF*IDF 值越大，该字词越关键

(2)根据TF-IDF值，选择出关键字 

 未完待续