怎样衡量两个字符串的相似度(编辑距离动态规划求解)

Posted 远洋号

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了怎样衡量两个字符串的相似度(编辑距离动态规划求解)相关的知识,希望对你有一定的参考价值。

前言

目前计算句子相似性有很多不同的方案,比如基于语义词典的方法、基于相同词汇的方法、基于统计的方法和基于编辑距离的方法。这篇文章先介绍编辑距离的基础。

编辑距离

编辑距离其实就是指把一个字符串转换为另外一个字符串所需要的最小编辑操作的代价数。包括插入字符、替换字符和删除字符。编辑距离越小,相似度越大。

比如我们要将what转换成where,可能是将 a -> e,接着 t -> r ,变为wher,最后添加 e,完成。因为每一步都可以插入、删除或替换,那么如何才能在最终得到一个最小的代价,这是就会用到动态规划来求解。

假设我们有长度分别为i、j的两个字符串,设编辑距离为edit(i,j)。接着我们看下,如果它们最后的字符相等,则编辑距离其实等于edit(i-1,j-1)。而如果最后的字符不相等,那么我们可以通过插入或替换来使其相等,但是不同的操作对应的代价不相同,如果插入则为edit(i,j-1)+1eidit(i-1,j)+1,替换则为edit(i-1,j-1)+1

求解

用以下动态方程来表示:

这里写图片描述

其中
这里写图片描述

举个前面的例子,what 到 where,假设两个字符分别为空时对应的代价数如下,







编辑距离 w h a t
0 1 2 3 4
w 1



h 2



e 3



r 4



e 5



动态规划后为:







编辑距离 w h a t
0 1 2 3 4
w 1 0 1 2 3
h 2 1 0 1 2
e 3 2 1 1 2
r 4 3 2 2 2
e 5 4 3 3 3

在整个动态规划过程中一直都是选择最小的代价数,所以最终的3即是这两个字符串的最小代价数,即编辑距离。

github

https://github.com/sea-boat/TextAnalyzer/blob/master/src/main/java/com/seaboat/text/analyzer/distance/CharEditDistance.java

实现

public class EditDistance {
   public static int getEditDistance(String s, String t) {
       int d[][];
       int n;
       int m;
       int i;
       int j;
       char s_i;
       char t_j;
       int cost;
       n = s.length();
       m = t.length();
       if (n == 0) {
           return m;
       }
       if (m == 0) {
           return n;
       }
       d = new int[n + 1][m + 1];
       for (i = 0; i <= n; i++) {
           d[i][0] = i;
       }
       for (j = 0; j <= m; j++) {
           d[0][j] = j;
       }
       for (i = 1; i <= n; i++) {
           s_i = s.charAt(i - 1);
           for (j = 1; j <= m; j++) {
               t_j = t.charAt(j - 1);
               cost = (s_i == t_j) ? 0 : 1;
               d[i][j] = Math.min(d[i - 1][j] + 1, d[i][j - 1] + 1);
               d[i][j] = Math.min(d[i][j], d[i - 1][j - 1] + cost);
           }
       }
       return d[n][m];
   }
   public static void main(String[] args) {
       EditDistance ed = new EditDistance();
       System.out.println(ed.getEditDistance("what", "where"));
   }
}


--------------------------------------

跟我交流,向我提问:

-------------推荐阅读------------







以上是关于怎样衡量两个字符串的相似度(编辑距离动态规划求解)的主要内容,如果未能解决你的问题,请参考以下文章

最短编辑距离算法实现

简言翻译记忆的原理:用动态规划算法求解最短编辑距离

使用 TF-IDF 加权的空间向量模型实现句子相似度计算

C#通过编辑距离计算两个字符串的相似度的代码

小说相似度分析——对传统动态规划求解最长公共子序列算法的改进(基于分治)(大一python大作业)

计算两个字符串的相似度---动态规划实现