Python：在 Pandas 中计算两列之间的 tf-idf 余弦相似度时出现 MemoryError

Posted 2023-03-12

【中文标题】Python：在 Pandas 中计算两列之间的 tf-idf 余弦相似度时出现 MemoryError

【英文标题】：Python: MemoryError when computing tf-idf cosine similarity between two columns in Pandas

【发布时间】：2017-08-15 08:47:11

【问题描述】：

我正在尝试计算 Pandas 数据框中两列之间的 tf-idf 矢量余弦相似度。一列包含搜索查询，另一列包含产品标题。余弦相似度值旨在成为搜索引擎/排名机器学习算法的“特征”。

我在 iPython 笔记本中执行此操作，不幸的是遇到了 MemoryErrors，并且在挖掘了几个小时后不知道为什么。

我的设置：

联想 E560 笔记本电脑 Core i7-6500U @ 2.50 GHz 16 GB 内存 Windows 10 使用 anaconda 3.5 内核和所有库的全新更新

因此，我已经根据类似的 *** 问题在一个小型玩具数据集上测试了我的代码/目标：

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from scipy import spatial

clf = TfidfVectorizer()

a = ['hello world', 'my name is', 'what is your name?', 'max cosine sim']
b = ['my name is', 'hello world', 'my name is what?', 'max cosine sim']

df = pd.DataFrame(data='a':a, 'b':b)

clf.fit(df['a'] + " " + df['b'])

tfidf_a = clf.transform(df['a']).todense()
tfidf_b = clf.transform(df['b']).todense()

row_similarities = [1 - spatial.distance.cosine(tfidf_a[x],tfidf_b[x]) for x in range(len(tfidf_a)) ]

df['tfidf_cosine_similarity'] = row_similarities

print(df)

这给出了以下（好！）输出：

                   a                 b  tfidf_cosine_similarity
0         hello world        my name is                 0.000000
1          my name is       hello world                 0.000000
2  what is your name?  my name is what?                 0.725628
3      max cosine sim    max cosine sim                 1.000000

但是，当我尝试将相同的方法应用于尺寸为 186,154 x 5 的数据框 (df_all_export) 时（其中 5 列中有 2 列查询 (search_term) 和文档 (product_title) 是这样的：

clf.fit(df_all_export['search_term'] + " " + df_all_export['product_title'])

tfidf_a = clf.transform(df_all_export['search_term']).todense()
tfidf_b = clf.transform(df_all_export['product_title']).todense()

row_similarities = [1 - spatial.distance.cosine(tfidf_a[x],tfidf_b[x]) for x in range(len(tfidf_a)) ]
df_all_export['tfidf_cosine_similarity'] = row_similarities

df_all_export.head()

我明白了......（这里没有给出整个错误，但你明白了）：

MemoryError                               Traceback (most recent call last)
<ipython-input-27-8308fcfa8f9f> in <module>()
     12 clf.fit(df_all_export['search_term'] + " " + df_all_export['product_title'])
     13 
---> 14 tfidf_a = clf.transform(df_all_export['search_term']).todense()
     15 tfidf_b = clf.transform(df_all_export['product_title']).todense()
     16

完全迷失了这一点，但我担心解决方案会非常简单和优雅:)

提前谢谢你！

【问题讨论】：

请始终发布完整的堆栈跟踪，以便我们知道错误的来源。

【参考方案1】：

您仍然可以使用sklearn.metrics.pairwise 方法处理稀疏矩阵/数组：

# I've executed your example up to (including):
# ...
clf.fit(df['a'] + " " + df['b'])

A = clf.transform(df['a'])

B = clf.transform(df['b'])

from sklearn.metrics.pairwise import *

paired_cosine_distances 会告诉你你的字符串有多远或有多不同（“逐行”比较两列中的值）

0 - 表示完全匹配

In [136]: paired_cosine_distances(A, B)
Out[136]: array([ 1.        ,  1.        ,  0.27437247,  0.        ])

cosine_similarity 将a 列的第一个字符串与b 列中的所有字符串进行比较（第 1 行）； a 列的第二个字符串，b 列中的所有字符串（第 2 行）等等...

In [137]: cosine_similarity(A, B)
Out[137]:
array([[ 0.        ,  1.        ,  0.        ,  0.        ],
       [ 1.        ,  0.        ,  0.74162106,  0.        ],
       [ 0.43929881,  0.        ,  0.72562753,  0.        ],
       [ 0.        ,  0.        ,  0.        ,  1.        ]])

In [141]: A
Out[141]:
<4x10 sparse matrix of type '<class 'numpy.float64'>'
        with 12 stored elements in Compressed Sparse Row format>

In [142]: B
Out[142]:
<4x10 sparse matrix of type '<class 'numpy.float64'>'
        with 12 stored elements in Compressed Sparse Row format>

注意：所有计算都使用 sparsed 矩阵 - 我们没有在内存中解压缩它们！

【讨论】：

非常感谢！我实施了您的解决方案，它很有魅力。在等待解决方案时，我尝试了使用列表和其他方法的变通方法，但一无所获。您的解决方案运行良好且快速 :)

@Bango，很高兴我能帮上忙 :)

【参考方案2】：

借助上面 MaxU 发布的友好帮助和解决方案，我在这里展示了完成我试图完成的任务的完整代码。除了MemoryError tt，当我尝试一些“hacky”解决方法时，tt 还可以避免出现在余弦相似度计算中的奇怪 nan。

注意以下代码是部分 sn-p，因为已在完整代码中构建了尺寸为 186,134 x 5 的大型数据框 df_all_export。

我希望这对尝试使用 tf-idf 向量计算搜索查询和匹配文档之间的余弦相似度的其他人有所帮助。对于这样一个常见的“问题”，我很难找到一个用 SKLearn 和 Pandas 实现的明确解决方案。

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import paired_cosine_distances as pcd

clf = TfidfVectorizer()

clf.fit(df_all_export['search_term'] + " " + df_all_export['product_title'])

A = clf.transform(df_all_export['search_term'])
B = clf.transform(df_all_export['product_title'])

cosine = 1 - pcd(A, B)

df_all_export['tfidf_cosine'] = cosine