如何使用Tensorflow获得数组的所有元素与同一数组中的所有其他元素的余弦相似度

Posted 2021-04-02

给出形状为（1000000，512）的句子嵌入数组（512个数组），我如何计算该数组的1百万个句子嵌入中的每一个与该数组的其他每个句子嵌入的余弦相似度，理想情况下使用tensorflow，因此我可以尝试使用GPU加快速度？

答案

余弦相似度是一种度量标准，用于衡量文档的相似程度，与文档的大小无关。在数学上，它测量投影在多维空间中的两个向量之间的角度的余弦。因此，数组与其自身的余弦相似度将始终为-1。

import tensorflow as tf y_true = [[2., 8.], [1., 7.]] y_pred = [[2., 8.], [1., 7.]] cosine_loss = tf.keras.losses.CosineSimilarity(axis=1) print(cosine_loss(y_true, y_pred).numpy())

另一答案

以这种方式您可以计算余弦距离