尝试在 T-SQL 查询中使用 Levenshtein 距离 - 请帮助优化
Posted
技术标签:
【中文标题】尝试在 T-SQL 查询中使用 Levenshtein 距离 - 请帮助优化【英文标题】:Trying To Use Levenshtein Distance In T-SQL Query - Help Optimizing Please 【发布时间】:2010-12-13 03:19:23 【问题描述】:我正在尝试使用我在网上找到的 levenshtein 算法来计算最接近搜索词的值。为了实现模糊词匹配。我当前的查询运行大约 45 秒。我希望我可以优化它。我已经为计算 levenshtein 值的字段添加了索引。我发现的 levenshtein 函数可能不是最优化的,我不相信它的实现。这是那个函数:
CREATE FUNCTION [dbo].[LEVENSHTEIN]( @s NVARCHAR(MAX), @t NVARCHAR(MAX) )
/*
Levenshtein Distance Algorithm: TSQL Implementation
by Joseph Gama
http://www.merriampark.com/ldtsql.htm
Returns the Levenshtein Distance between strings s1 and s2.
Original developer: Michael Gilleland http://www.merriampark.com/ld.htm
Translated to TSQL by Joseph Gama
Fixed by Herbert Oppolzer / devio
as described in http://devio.wordpress.com/2010/09/07/calculating-levenshtein-distance-in-tsql
*/
RETURNS INT AS
BEGIN
DECLARE @d NVARCHAR(MAX), @LD INT, @m INT, @n INT, @i INT, @j INT,
@s_i NCHAR(1), @t_j NCHAR(1),@cost INT
--Step 1
SET @n = LEN(@s)
SET @m = LEN(@t)
SET @d = REPLICATE(NCHAR(0),(@n+1)*(@m+1))
IF @n = 0
BEGIN
SET @LD = @m
GOTO done
END
IF @m = 0
BEGIN
SET @LD = @n
GOTO done
END
--Step 2
SET @i = 0
WHILE @i <= @n BEGIN
SET @d = STUFF(@d,@i+1,1,NCHAR(@i)) --d(i, 0) = i
SET @i = @i+1
END
SET @i = 0
WHILE @i <= @m BEGIN
SET @d = STUFF(@d,@i*(@n+1)+1,1,NCHAR(@i)) --d(0, j) = j
SET @i = @i+1
END
--Step 3
SET @i = 1
WHILE @i <= @n BEGIN
SET @s_i = SUBSTRING(@s,@i,1)
--Step 4
SET @j = 1
WHILE @j <= @m BEGIN
SET @t_j = SUBSTRING(@t,@j,1)
--Step 5
IF @s_i = @t_j
SET @cost = 0
ELSE
SET @cost = 1
--Step 6
SET @d = STUFF(@d,@j*(@n+1)+@i+1,1,
NCHAR(dbo.MIN3(
UNICODE(SUBSTRING(@d,@j*(@n+1)+@i-1+1,1))+1,
UNICODE(SUBSTRING(@d,(@j-1)*(@n+1)+@i+1,1))+1,
UNICODE(SUBSTRING(@d,(@j-1)*(@n+1)+@i-1+1,1))+@cost)
))
SET @j = @j+1
END
SET @i = @i+1
END
--Step 7
SET @LD = UNICODE(SUBSTRING(@d,@n*(@m+1)+@m+1,1))
done:
RETURN @LD
END
这是我正在使用的查询:
SELECT [Address], [dbo].[LEVENSHTEIN](@searchTerm, [Address]) As LevenshteinDistance
FROM Streets
Order By LevenshteinDistance
我不是 DBA,所以请原谅我对任何最佳实践的无知 - 这就是我来这里学习的原因 :)。我真的不想在业务层中卸载此处理,并希望将其保留在数据层中,但只有 16k 记录需要 45 秒来处理它目前不可用。这只是记录的一小部分,一旦我处理完输入文件,它将构成整个数据存储。提前致谢。
【问题讨论】:
你有样本数据可以开始挖掘吗? 【参考方案1】:如果您希望它运行得非常快,请考虑在 C# 中创建一个 dll。它会让你的速度提高 150% ;)
这是我的博客,向您解释如何做到这一点。
http://levenshtein.blogspot.com/2011/04/how-it-is-done.html
【讨论】:
【参考方案2】:你应该阅读这个帖子和那些链接:http://www.vbforums.com/showthread.php?t=575471
【讨论】:
以上是关于尝试在 T-SQL 查询中使用 Levenshtein 距离 - 请帮助优化的主要内容,如果未能解决你的问题,请参考以下文章