在 Dask 数组-python 上使用 scikit-learn cosine_similarity

Posted 2023-03-12

【中文标题】在 Dask 数组-python 上使用 scikit-learn cosine_similarity

【英文标题】：using scikit-learn cosine_similarity on Dask array- python

【发布时间】：2018-08-23 06:44:48

【问题描述】：

我有 Dask 来处理无法放入内存的大型向量数组，并使用 scikit-learn cosine_similarity 来计算这些向量之间的余弦相似度，即：

import dask.array as da
from sklearn.metrics.pairwise import cosine_similarity
vectors = da.from_array(vectors, 10000)
sims_mat = cosine_similarity(vectors)

工作正常，但我不确定通过这种方式使用 Dask 是否有任何好处，或者我应该为 dask 数组寻找余弦相似度函数

【参考方案1】：

在我看来这应该没问题，因为如果你检查 dask 和 sklearn 的文档，你会发现它们都是建立在 之上的numpy，它使用并行处理。

如果你真的只想使用 dask，你可以查看这个 repo： https://pypi.python.org/pypi/dask-distance

它包括一个余弦相似度函数。