常见相似度衡量方法

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了常见相似度衡量方法相关的知识,希望对你有一定的参考价值。

参考技术A 参考邹博的PPT对5种常见的相似度的衡量方法进行一下汇总。
1、 Minkowski distance :

2、 Jaccard distance :

3、 cosine similarity :

4、 pearson correlation coefficient :

关于欧式距离、余弦相似度和pearson系数的关系可以查看 知乎上的讨论 。总结的说:
a、 在数据标准化后,Pearson相关性系数、余弦相似度、欧式距离的平方可认为是等价的。
b、 pearson相关系数是余弦相似度在维度值缺失情况下的一种改进。

5、 Kullback-Leibler divergence(相对熵、KL散度)

a、 KL散度是不对称的,即P到Q的距离不等于Q到P的距离;
b、 KL散度不满足三角距离公式,两边之和大于第三边,两边之差小于第三边。

参考文献:
1、 https://en.wikipedia.org/wiki/Minkowski_distance
2、 https://en.wikipedia.org/wiki/Simple_matching_coefficient
3、 https://en.wikipedia.org/wiki/Jaccard_index
4、 https://en.wikipedia.org/wiki/Cosine_similarity
5、 https://en.wikipedia.org/wiki/Pearson_correlation_coefficient
6、 https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
7、 https://blog.csdn.net/u012885320/article/details/81059915
8、 https://blog.csdn.net/zb1165048017/article/details/48937135
9、 https://www.zhihu.com/question/19734616
10、 https://www.zhihu.com/question/41252833

以上是关于常见相似度衡量方法的主要内容,如果未能解决你的问题,请参考以下文章

使用 TF-IDF 加权的空间向量模型实现句子相似度计算

余弦相似度实际用例

ElasticsearchElasticsearch中的相似度评分介绍

相似度总结

智能推荐算法基础-余弦相似度计算

LSTM 句子相似度分析