sklearn文本特征提取——TfidfVectorizer

Posted mengnan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了sklearn文本特征提取——TfidfVectorizer相关的知识,希望对你有一定的参考价值。

什么是TF-IDF

IF-IDF(term frequency-inverse document frequency)词频-逆向文件频率。在处理文本时,如何判断某一个词在文本中的重要性呢?IF-IDF就是解决这个问题。字词的重要性与其在文本中出现的频率成正比(IF),与其在语料库中出现的频率成反比(IDF)。

IF

IF:词频。IF(w)=(词w在文档中出现的次数)/(文档的总词数)

IDF

IDF:逆向文件频率。有些词可能在文本中频繁出现,但并不重要,也即信息量小,如is,of,that这些单词,这些单词在语料库中出现的频率也非常大,我们就可以利用这点,降低其权重。IDF(w)=log_e(语料库的总文档数)/(语料库中词w出现的文档数)

IF-IDF

将上面的IF-IDF相乘就得到了综合参数:IF-IDF=IF*IDF

如何使用?

在文本处理中,我们经常遇到将一段话变成向量,以组成矩阵来输入到模型中处理。我们这时就可以用到IF-IDF来做。但是我们需要自己找语料库训练IF-IDF吗?看看sklearn.feature_extraction.text.TfidfVectorizer吧~~~
示例:

from sklearn.feature_extraction.text import TfidfVectorizer

cv=TfidfVectorizer(binary=False,decode_error=‘ignore‘,stop_words=‘english‘)
vec=cv.fit_transform([‘hello world‘,‘this is a panda.‘])#传入句子组成的list
arr=vec.toarray()

arr是一个2*3的矩阵,如下:

array([[ 0.70710678,  0.        ,  0.70710678],
    [ 0.        ,  1.        ,  0.        ]])

一行代表一个句子样本,这样的矩阵就可以放入模型中训练了。与TfidfVectorizer类似的还有CountVectorizer。与此相关的概念还有词袋,词集


以上是关于sklearn文本特征提取——TfidfVectorizer的主要内容,如果未能解决你的问题,请参考以下文章

Sklearn机器学习基础(day01基本数据处理)

文本特征提取

CountVectorizer方法对中文进行特征提取

sklearn如何使用保存的模型来预测新数据

从 Sklearn 管道中提取具有特征名称的特征重要性

CountVectorizer()类解析