使用不同的方法计算TF-IDF值

Posted lookfor404

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用不同的方法计算TF-IDF值相关的知识,希望对你有一定的参考价值。

摘要

这篇文章主要介绍了计算TF-IDF的不同方法实现,主要有三种方法:

  • 用gensim库来计算tfidf值
  • 用sklearn库来计算tfidf值
  • 用python手动实现tfidf的计算

总结

之所以做了这方面的总结是因为最近在研究word2vec,然后涉及到了基于word2vec的文本表示方法。你用word2vec训练好的模型可以得到词的向量,然后我们可以利用这些词向量表示句子向量。


 

1. 一般处理方法是把句子里涉及到的单词用word2vec模型训练得到词向量,然后把这些向量加起来再除以单词数,就可以得到句子向量。这样处理之后可以拿去给分类算法(比如LogisticRegression)训练,从而对文本进行分类。


 

2. 还有一种是把句子里的每个单词的向量拼接起来,比如每个单词的维度是1*100

一句话有30个单词,那么如何表示这句话的向量呢?

把单词拼接来,最终得到这句话的向量的维度就是30*100维


 

3. 我想做的是把句子里所有的单词用word2vec模型训练得到词向量,然后把这些向量乘以我们之前得到的tfidf值,再把它们加起来除以单词数,就可以得到句子向量。也就是结合tfidf给单词加上一个权重,评判一个单词的重要程度。


 

4. 最后发现gensim和sklearn都不能满足我的需求,用python的方法做了一个。


 

详情请大家看这里

使用不同工具计算的tf-idf值对比 

https://www.zybuluo.com/lianjizhe/note/1212780

以上是关于使用不同的方法计算TF-IDF值的主要内容,如果未能解决你的问题,请参考以下文章

使用analyzer ='char'如何计算Tf-Idf值?

TF-IDF算法--关键词句和文本集中每篇文章相关度计算

如何计算查询的 TF-IDF?

在python中使用sklearn为n-gram计算TF-IDF

Python Scikit-learn:TF-IDF 中的空词汇

python 分词计算文档TF-IDF值并排序