向量和熊猫列之间的余弦相似度（线性向量）

Posted 2023-03-12

【中文标题】向量和熊猫列之间的余弦相似度（线性向量）

【英文标题】：cosine similarity between a vector and pandas column(a linear vector)

【发布时间】：2018-11-14 19:42:09

【问题描述】：

我有一个 pandas 数据框，其中包含具有各自葡萄酒属性的葡萄酒列表。

然后我创建了一个新的列向量，其中包含来自这些属性的 numpy 向量。

def get_wine_profile(id):
wine = wines[wines['exclusiviId'] == id]
wine_vector = np.array(wine[wine_attrs].values.tolist()).flatten()

return wine_vector

wines['vector'] = wines.exclusiviId.apply(get_wine_profile)

因此向量列看起来像这样

vector

[1, 1, 1, 2, 2, 2, 2, 1, 1, 1]

[3, 1, 2, 1, 2, 2, 2, 0, 1, 3]

[1, 1, 2, 1, 3, 3, 3, 0, 1, 1]

.

.

现在我想在该列和另一个向量之间执行余弦相似度，该向量是用户输入的结果向量 这是我迄今为止尝试过的

from scipy.spatial.distance import cosine
cos_vec = wines.apply(lambda x: (1-cosine(wines["vector"],[1, 1, 1, 2, 2, 2, 2, 1, 1, 1]), axis=1)
Print(cos_vec)

这是抛出错误

ValueError: ('operands could not be broadcast together with shapes (63,) (10,) ', 'occurred at index 0')

我也尝试使用 sklearn，但它也有与 arrar 形状相同的问题

我想要的最终输出是在该列和用户输入之间具有匹配分数的列

【参考方案1】：

我做了我自己的功能来做到这一点，是的，它有效

import math
def cosine_similarity(v1,v2):
"compute cosine similarity of v1 to v2: (v1 dot v2)/||v1||*||v2||)"
sumxx, sumxy, sumyy = 0, 0, 0
for i in range(len(v1)):
    x = v1[i]; y = v2[i]
    sumxx += x*x
    sumyy += y*y
    sumxy += x*y
return sumxy/math.sqrt(sumxx*sumyy)

def get_similarity(id):
 vec1 = result_vector
 vec2 = get_wine_profile(id)
 similarity = cosine_similarity(vec1, vec2)
 return similarity

wines['score'] = wines.exclusiviId.apply(get_similarity)
display(wines.head())

【参考方案2】：

IMO 更好的解决方案是将 cdist 与 cosine 度量标准一起使用。您正在有效地计算 DataFrame 中的 n 点和用户输入中的 1 点之间的成对距离，即总共 n 对。

如果您一次处理多个用户，则效率会更高。

from scipy.spatial.distance import cdist

# make into 1x10 array
user_input = np.array([1, 1, 1, 2, 2, 2, 2, 1, 1, 1])[None]
df["cos_dist"] = cdist(np.stack(df.vector), user_input, metric="cosine")


# vector  cos_dist
# 0  [1, 1, 1, 2, 2, 2, 2, 1, 1, 1]   0.00000
# 1  [3, 1, 2, 1, 2, 2, 2, 0, 1, 3]   0.15880
# 2  [1, 1, 2, 1, 3, 3, 3, 0, 1, 1]   0.07613

顺便说一句，您似乎正在使用本机 Python 列表。我会将所有内容都切换到 numpy 数组。当您调用 cosine 时，无论如何都会在后台进行到 np.array 的转换。

【讨论】：

谢谢@yakym 的回答，但我已经尝试了另一种可行的方法