在python中使用sklearn为n-gram计算TF-IDF

Posted 2023-02-23

【中文标题】在python中使用sklearn为n-gram计算TF-IDF

【英文标题】：Calculate TF-IDF using sklearn for n-grams in python

【发布时间】：2018-03-16 19:06:01

【问题描述】：

我有一个包含 n-gram 的词汇表，如下所示。

myvocabulary = ['tim tam', 'jam', 'fresh milk', 'chocolates', 'biscuit pudding']

我想用这些词来计算 TF-IDF 值。

我还有一个语料库字典如下（key = recipe number，value = recipe）。

corpus = 1: "making chocolates biscuit pudding easy first get your favourite biscuit chocolates", 2: "tim tam drink new recipe that yummy and tasty more thicker than typical milkshake that uses normal chocolates", 3: "making chocolates drink different way using fresh milk egg"

我目前正在使用以下代码。

from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer(vocabulary = myvocabulary, stop_words = 'english')
tfs = tfidf.fit_transform(corpus.values())

现在我正在corpus 中打印配方 1 的令牌或 n-gram 以及 tF-IDF 值，如下所示。

feature_names = tfidf.get_feature_names()
doc = 0
feature_index = tfs[doc,:].nonzero()[1]
tfidf_scores = zip(feature_index, [tfs[doc, x] for x in feature_index])
for w, s in [(feature_names[i], s) for (i, s) in tfidf_scores]:
  print(w, s)

我得到的结果是chocolates 1.0。但是，我的代码在计算 TF-IDF 值时没有检测到诸如biscuit pudding 之类的 n-grams（bigrams）。请让我知道我在哪里弄错了代码。

我想通过使用 corpus 中的配方文档来获取 myvocabulary 术语的 TD-IDF 矩阵。换句话说，矩阵的行代表myvocabulary，矩阵的列代表我corpus的食谱文档。请帮帮我。

【问题讨论】：

查看 TfidfVectorizer 中的 tokenizer、token_pattern 和 ngram_range 参数。

【参考方案1】：

尝试在TfidfVectorizer 中增加ngram_range：

tfidf = TfidfVectorizer(vocabulary = myvocabulary, stop_words = 'english', ngram_range=(1,2))

编辑：TfidfVectorizer 的输出是稀疏格式的 TF-IDF 矩阵（或者实际上是您寻求的格式的转置）。您可以打印出它的内容，例如像这样：

feature_names = tfidf.get_feature_names()
corpus_index = [n for n in corpus]
rows, cols = tfs.nonzero()
for row, col in zip(rows, cols):
    print((feature_names[col], corpus_index[row]), tfs[row, col])

应该产生的

('biscuit pudding', 1) 0.646128915046
('chocolates', 1) 0.763228291628
('chocolates', 2) 0.508542320378
('tim tam', 2) 0.861036995944
('chocolates', 3) 0.508542320378
('fresh milk', 3) 0.861036995944

如果矩阵不大，则以密集形式检查它可能更容易。 Pandas 非常方便：

import pandas as pd
df = pd.DataFrame(tfs.T.todense(), index=feature_names, columns=corpus_index)
print(df)

这会导致

                        1         2         3
tim tam          0.000000  0.861037  0.000000
jam              0.000000  0.000000  0.000000
fresh milk       0.000000  0.000000  0.861037
chocolates       0.763228  0.508542  0.508542
biscuit pudding  0.646129  0.000000  0.000000

【讨论】：

非常感谢。它有效:) 有没有办法查看我的 TF-IDF 矩阵？ “我想通过语料库中的recipe文档得到myvocabulary术语的TD-IDF矩阵。也就是说，矩阵的行代表myvocabulary，矩阵的列代表我语料库的recipe文档。”跨度>