tf-idf算法python实现

Posted 2023-04-08

参考技术A tf-idf=tf*idf
tf是词频，若一个文件中有n个次，词word出现c次；，则tf=c/n
idf是逆文档概率，一共有N个文件，词word在w个文档中出现，则idf=w/N

python中的TF-IDF实现

【中文标题】python中的TF-IDF实现

【英文标题】：TF-IDF implementations in python

【发布时间】：2013-12-07 02:04:26

【问题描述】：

python 中可用的标准 tf-idf 实现/api 有哪些？我在nltk中遇到过。我想知道提供此功能的其他库。

【参考方案1】：

尝试在python中实现TF-IDF算法的库。

http://code.google.com/p/tfidf/

https://github.com/hrs/python-tf-idf

【参考方案2】：

不幸的是，关于工具或库的问题与 SO 无关。有很多机器学习库实现了tfidf。在我看来，除了提到的ntlk之外，其中最全面的两个是sklearn和gensim。

【参考方案3】：

有一个名为 scikit 的包计算 tf-idf 分数。

你可以参考我对这个问题的回答

Python: tf-idf-cosine: to find document similarity

并从中查看问题代码。谢谢。