scikit cosine_similarity vs pairwise_distances
Posted
技术标签:
【中文标题】scikit cosine_similarity vs pairwise_distances【英文标题】: 【发布时间】:2016-05-18 19:50:32 【问题描述】:Scikit-learn 的 sklearn.metrics.pairwise.cosine_similarity 和 sklearn.metrics.pairwise.pairwise_distances(.. metric="cosine") 有什么区别?
from sklearn.feature_extraction.text import TfidfVectorizer
documents = (
"Macbook Pro 15' Silver Gray with Nvidia GPU",
"Macbook GPU"
)
tfidf_vectorizer = TfidfVectorizer()
tfidf_matrix = tfidf_vectorizer.fit_transform(documents)
from sklearn.metrics.pairwise import cosine_similarity
print(cosine_similarity(tfidf_matrix[0:1], tfidf_matrix)[0,1])
0.37997836
from sklearn.metrics.pairwise import pairwise_distances
print(pairwise_distances(tfidf_matrix[0:1], tfidf_matrix, metric='cosine')[0,1])
0.62002164
为什么这些不同?
【问题讨论】:
【参考方案1】:来自源代码documentation:
Cosine distance is defined as 1.0 minus the cosine similarity.
所以你的结果是有意义的。
【讨论】:
嗯哇。是的。这很有意义 - 不敢相信我错过了【参考方案2】:成对距离提供两个数组之间的距离。所以成对距离越大,相似度越小。而余弦相似度是 1-pairwise_distance,所以余弦相似度越大,两个数组之间的相似度越高。
【讨论】:
以上是关于scikit cosine_similarity vs pairwise_distances的主要内容,如果未能解决你的问题,请参考以下文章
torch.nn.functional.cosine_similarity使用详解