TF-IDF 的纯 pandas 实现

Posted 2023-03-12

【中文标题】TF-IDF 的纯 pandas 实现

【英文标题】：Pure pandas implementation of TF-IDF

【发布时间】：2019-03-28 13:21:33

【问题描述】：

我想知道为什么我的 TF-IDF 的 Pandas 实现与 sklearn 实现的结果略有不同。

这是我的实现：

text = ["aa bb cc dd ee", "bb cc dd dd"]

terms = [Counter(t.split(' ')) for t in text]
tf = pd.DataFrame(terms)
tf = tf.fillna(0)

num_docs = len(text)
idf = np.log(num_docs / tf[tf >= 1].count()) + 1 

tf_idf = tf * idf

norm = np.sqrt((tf_idf ** 2).sum(axis=1))
norm_tf_idf = tf_idf.div(norm, axis=0)

>>> norm_tf_idf
         aa        bb        cc        dd        ee
0  0.572929  0.338381  0.338381  0.338381  0.572929
1  0.000000  0.408248  0.408248  0.816497  0.000000

但是，如果我使用 sklearn：

tf = TfidfVectorizer(smooth_idf=False, stop_words=None, sublinear_tf=True)
x = tf.fit_transform(text)

sk = pd.DataFrame(x.toarray())
sk.columns = tf.get_feature_names()
sk

>>> sk
         aa        bb        cc        dd        ee
0  0.572929  0.338381  0.338381  0.338381  0.572929
1  0.000000  0.453295  0.453295  0.767495  0.000000

或者如果我们减去它们：

>>> norm_tf_idf - sk
    aa        bb        cc        dd   ee
0  0.0  0.000000  0.000000  0.000000  0.0
1  0.0 -0.045046 -0.045046  0.049002  0.0

---

编辑：

我发现 sklearn idf 和我的 idf 不完全一样，但我认为我们可以将其归因于浮点精度：

sklearn idf: [1.69314718 1.         1.         1.         1.69314718]
my idf:      [1.693147   1.000000   1.000000   1.000000   1.693147]

即使我使用 sklearn idf，我仍然会得到不同的结果。

此外，如果我不规范化并使用 sklearn idf 值，则只有第二个文档的 dd 的 TF-IDF 不同：

sk_tfv = TfidfVectorizer(smooth_idf=False, stop_words=None, token_pattern=r"(?u)\b\w+\b", sublinear_tf=True, norm=None)
x = sk_tf.fit_transform(text)
sk_tf_idf = pd.DataFrame(x.toarray())
...
idf = sk_tfv.idf_
tf_idf = tf * idf


>>> tf_idf - sk_tf_idf
     aa  bb  cc       dd     ee
0   0.0 0.0 0.0 0.000000    0.0
1   0.0 0.0 0.0 0.306853    0.0

这意味着两件事： 1.问题是我的TF。然而，这很容易检查，似乎并非如此。或者， 2. sklearn 不只是做TF * IDF，而是做更多的事情，我必须研究一下。

【参考方案1】：

我很傻。在深入了解 sklearn 源代码后，我注意到了 sublinear_tf 参数。将此参数设置为 True 时，术语频率将替换为 log(TF) + 1，而我恰好将此参数设置为 True :)

要在 pandas 中实现亚线性 TF，这应该可行：

tf[tf > 0]  = np.log(tf[tf > 0] ) + 1