#1 楼
我在TSQL中实现了标准的Levenshtein编辑距离功能，并进行了一些优化，这些速度可以提高我所知道的其他版本的速度。如果两个字符串的开头（共享前缀）具有共同的字符，而结尾两个字符（共享后缀）具有共同的字符，并且当字符串较大且提供最大编辑距离时，速度的改善将非常明显。例如，当输入是两个非常相似的4000个字符串，并且指定的最大编辑距离为2时，这比接受的答案中的edit_distance_within函数快将近三个数量级，并在0.073秒（73毫秒）内返回答案）vs 55秒。它的存储效率也很高，使用等于两个输入字符串中较大者的空间加上一些恒定空间。它使用一个表示列的单个nvarchar“数组”，并在其中进行所有计算，并添加一些辅助int变量。优化：
跳过共享前缀和/或后缀的处理
如果较大的字符串以整个较小的字符串开头或结尾，则提前返回
如果大小差异保证将超过最大距离，则提前返回
仅使用单个数组表示矩阵中的一列（实现为nvarchar）
，当给出最大距离时，时间复杂度从（len1 * len2）到（min（len1，len2）），即线性
，当最大距离时给定了，一旦得知最大距离界限是无法实现的，则提早返回
此处为代码（2014年1月20日更新，以加快速度）：
-- =============================================
-- Computes and returns the Levenshtein edit distance between two strings, i.e. the
-- number of insertion, deletion, and sustitution edits required to transform one
-- string to the other, or NULL if @max is exceeded. Comparisons use the case-
-- sensitivity configured in SQL Server (case-insensitive by default).
--
-- Based on Sten Hjelmqvist's "Fast, memory efficient" algorithm, described
-- at http://www.codeproject.com/Articles/13525/Fast-memory-efficient-Levenshtein-algorithm,
-- with some additional optimizations.
-- =============================================
CREATE FUNCTION [dbo].[Levenshtein](
@s nvarchar(4000)
, @t nvarchar(4000)
, @max int
)
RETURNS int
WITH SCHEMABINDING
AS
BEGIN
DECLARE @distance int = 0 -- return variable
, @v0 nvarchar(4000)-- running scratchpad for storing computed distances
, @start int = 1 -- index (1 based) of first non-matching character between the two string
, @i int, @j int -- loop counters: i for s string and j for t string
, @diag int -- distance in cell diagonally above and left if we were using an m by n matrix
, @left int -- distance in cell to the left if we were using an m by n matrix
, @sChar nchar -- character at index i from s string
, @thisJ int -- temporary storage of @j to allow SELECT combining
, @jOffset int -- offset used to calculate starting value for j loop
, @jEnd int -- ending value for j loop (stopping point for processing a column)
-- get input string lengths including any trailing spaces (which SQL Server would otherwise ignore)
, @sLen int = datalength(@s) / datalength(left(left(@s, 1) + '.', 1)) -- length of smaller string
, @tLen int = datalength(@t) / datalength(left(left(@t, 1) + '.', 1)) -- length of larger string
, @lenDiff int -- difference in length between the two strings
-- if strings of different lengths, ensure shorter string is in s. This can result in a little
-- faster speed by spending more time spinning just the inner loop during the main processing.
IF (@sLen > @tLen) BEGIN
SELECT @v0 = @s, @i = @sLen -- temporarily use v0 for swap
SELECT @s = @t, @sLen = @tLen
SELECT @t = @v0, @tLen = @i
END
SELECT @max = ISNULL(@max, @tLen)
, @lenDiff = @tLen - @sLen
IF @lenDiff > @max RETURN NULL
-- suffix common to both strings can be ignored
WHILE(@sLen > 0 AND SUBSTRING(@s, @sLen, 1) = SUBSTRING(@t, @tLen, 1))
SELECT @sLen = @sLen - 1, @tLen = @tLen - 1
IF (@sLen = 0) RETURN @tLen
-- prefix common to both strings can be ignored
WHILE (@start < @sLen AND SUBSTRING(@s, @start, 1) = SUBSTRING(@t, @start, 1))
SELECT @start = @start + 1
IF (@start > 1) BEGIN
SELECT @sLen = @sLen - (@start - 1)
, @tLen = @tLen - (@start - 1)
-- if all of shorter string matches prefix and/or suffix of longer string, then
-- edit distance is just the delete of additional characters present in longer string
IF (@sLen <= 0) RETURN @tLen
SELECT @s = SUBSTRING(@s, @start, @sLen)
, @t = SUBSTRING(@t, @start, @tLen)
END
-- initialize v0 array of distances
SELECT @v0 = '', @j = 1
WHILE (@j <= @tLen) BEGIN
SELECT @v0 = @v0 + NCHAR(CASE WHEN @j > @max THEN @max ELSE @j END)
SELECT @j = @j + 1
END
SELECT @jOffset = @max - @lenDiff
, @i = 1
WHILE (@i <= @sLen) BEGIN
SELECT @distance = @i
, @diag = @i - 1
, @sChar = SUBSTRING(@s, @i, 1)
-- no need to look beyond window of upper left diagonal (@i) + @max cells
-- and the lower right diagonal (@i - @lenDiff) - @max cells
, @j = CASE WHEN @i <= @jOffset THEN 1 ELSE @i - @jOffset END
, @jEnd = CASE WHEN @i + @max >= @tLen THEN @tLen ELSE @i + @max END
WHILE (@j <= @jEnd) BEGIN
-- at this point, @distance holds the previous value (the cell above if we were using an m by n matrix)
SELECT @left = UNICODE(SUBSTRING(@v0, @j, 1))
, @thisJ = @j
SELECT @distance =
CASE WHEN (@sChar = SUBSTRING(@t, @j, 1)) THEN @diag --match, no change
ELSE 1 + CASE WHEN @diag < @left AND @diag < @distance THEN @diag --substitution
WHEN @left < @distance THEN @left -- insertion
ELSE @distance -- deletion
END END
SELECT @v0 = STUFF(@v0, @thisJ, 1, NCHAR(@distance))
, @diag = @left
, @j = case when (@distance > @max) AND (@thisJ = @i + @lenDiff) then @jEnd + 2 else @thisJ + 1 end
END
SELECT @i = CASE WHEN @j > @jEnd + 1 THEN @sLen + 1 ELSE @i + 1 END
END
RETURN CASE WHEN @distance <= @max THEN @distance ELSE NULL END
END
如该功能注释所述，字符比较的大小写敏感性将遵循有效的排序规则。默认情况下，SQL Server的排序规则会导致不区分大小写的比较。
修改此功能使其始终区分大小写的一种方法是将特定的排序规则添加到比较字符串的两个位置。但是，我还没有对此进行彻底的测试，尤其是在数据库使用非默认排序规则时的副作用方面。
以下是更改这两行以进行区分大小写的比较的方式：
-- prefix common to both strings can be ignored
WHILE (@start < @sLen AND SUBSTRING(@s, @start, 1) = SUBSTRING(@t, @start, 1) COLLATE SQL_Latin1_General_Cp1_CS_AS)
和
SELECT @distance =
CASE WHEN (@sChar = SUBSTRING(@t, @j, 1) COLLATE SQL_Latin1_General_Cp1_CS_AS) THEN @diag --match, no change
#2 楼
阿诺·弗里布尔（Arnold Fribble）在sqlteam.com/forums上有两项建议一项来自2005年6月的建议，另一项于2006年5月更新，一则来自2006年：
SET QUOTED_IDENTIFIER ON
GO
SET ANSI_NULLS ON
GO
CREATE FUNCTION edit_distance_within(@s nvarchar(4000), @t nvarchar(4000), @d int)
RETURNS int
AS
BEGIN
DECLARE @sl int, @tl int, @i int, @j int, @sc nchar, @c int, @c1 int,
@cv0 nvarchar(4000), @cv1 nvarchar(4000), @cmin int
SELECT @sl = LEN(@s), @tl = LEN(@t), @cv1 = '', @j = 1, @i = 1, @c = 0
WHILE @j <= @tl
SELECT @cv1 = @cv1 + NCHAR(@j), @j = @j + 1
WHILE @i <= @sl
BEGIN
SELECT @sc = SUBSTRING(@s, @i, 1), @c1 = @i, @c = @i, @cv0 = '', @j = 1, @cmin = 4000
WHILE @j <= @tl
BEGIN
SET @c = @c + 1
SET @c1 = @c1 - CASE WHEN @sc = SUBSTRING(@t, @j, 1) THEN 1 ELSE 0 END
IF @c > @c1 SET @c = @c1
SET @c1 = UNICODE(SUBSTRING(@cv1, @j, 1)) + 1
IF @c > @c1 SET @c = @c1
IF @c < @cmin SET @cmin = @c
SELECT @cv0 = @cv0 + NCHAR(@c), @j = @j + 1
END
IF @cmin > @d BREAK
SELECT @cv1 = @cv0, @i = @i + 1
END
RETURN CASE WHEN @cmin <= @d AND @c <= @d THEN @c ELSE -1 END
END
GO
评论
@Alexander，它似乎可以工作，但是我会将您的变量名更改为更有意义的名称。另外，我将摆脱@d，您知道输入中两个字符串的长度。
– Lieven Keersmaekers
09年2月18日在12:01
@Lieven：这不是我的实现，作者是Arnold Fribble。 @d参数是达到之间的字符串之间允许的最大差异，它们被认为过于多样化且函数返回-1。之所以添加它，是因为T-SQL中的算法工作太慢。
–亚历山大·普罗科菲耶夫（Alexander Prokofyev）
09年2月18日在12:26
您应该在以下位置检查算法伪代码：en.wikipedia.org/wiki/Levenshtein_distance并没有太大改进。
– Norman H
15年1月29日在22:05
#3 楼
IIRC，在SQL Server 2005和更高版本中，您可以用任何.NET语言编写存储过程：在SQL Server 2005中使用CLR集成。因此，编写用于计算Levenstein距离的过程并不难。一个简单的Hello，World！从帮助中提取：
using System;
using System.Data;
using Microsoft.SqlServer.Server;
using System.Data.SqlTypes;
public class HelloWorldProc
{
[Microsoft.SqlServer.Server.SqlProcedure]
public static void HelloWorld(out string text)
{
SqlContext.Pipe.Send("Hello world!" + Environment.NewLine);
text = "Hello world!";
}
}
然后在您的SQL Server中运行以下命令：
CREATE ASSEMBLY helloworld from 'c:\helloworld.dll' WITH PERMISSION_SET = SAFE
CREATE PROCEDURE hello
@i nchar(25) OUTPUT
AS
EXTERNAL NAME helloworld.HelloWorldProc.HelloWorld
现在您可以测试运行它：
DECLARE @J nchar(25)
EXEC hello @J out
PRINT @J
希望这会有所帮助。
#4 楼
您可以使用Levenshtein距离算法来比较字符串在这里您可以在http://www.kodyaz.com/articles/fuzzy-string-matching-using-levenshtein-distance中找到一个T-SQL示例-sql-server.aspx
CREATE FUNCTION edit_distance(@s1 nvarchar(3999), @s2 nvarchar(3999))
RETURNS int
AS
BEGIN
DECLARE @s1_len int, @s2_len int
DECLARE @i int, @j int, @s1_char nchar, @c int, @c_temp int
DECLARE @cv0 varbinary(8000), @cv1 varbinary(8000)
SELECT
@s1_len = LEN(@s1),
@s2_len = LEN(@s2),
@cv1 = 0x0000,
@j = 1, @i = 1, @c = 0
WHILE @j <= @s2_len
SELECT @cv1 = @cv1 + CAST(@j AS binary(2)), @j = @j + 1
WHILE @i <= @s1_len
BEGIN
SELECT
@s1_char = SUBSTRING(@s1, @i, 1),
@c = @i,
@cv0 = CAST(@i AS binary(2)),
@j = 1
WHILE @j <= @s2_len
BEGIN
SET @c = @c + 1
SET @c_temp = CAST(SUBSTRING(@cv1, @j+@j-1, 2) AS int) +
CASE WHEN @s1_char = SUBSTRING(@s2, @j, 1) THEN 0 ELSE 1 END
IF @c > @c_temp SET @c = @c_temp
SET @c_temp = CAST(SUBSTRING(@cv1, @j+@j+1, 2) AS int)+1
IF @c > @c_temp SET @c = @c_temp
SELECT @cv0 = @cv0 + CAST(@c AS binary(2)), @j = @j + 1
END
SELECT @cv1 = @cv0, @i = @i + 1
END
RETURN @c
END
（由Joseph Gama开发的函数）
用法：
select
dbo.edit_distance('Fuzzy String Match','fuzzy string match'),
dbo.edit_distance('fuzzy','fuzy'),
dbo.edit_distance('Fuzzy String Match','fuzy string match'),
dbo.edit_distance('levenshtein distance sql','levenshtein sql server'),
dbo.edit_distance('distance','server')
该算法仅返回stpe计数，即可通过一步替换一个不同的字符将一个字符串更改为另一个字符串
评论
不幸的是，这不包括字符串为空的情况
– Codeman
2015年4月6日在21:38
#5 楼
我也在寻找Levenshtein算法的代码示例，很高兴在这里找到它。当然，我想了解算法是如何工作的，我在上面的例子之一中玩了一点，而在Veve发布的例子中我玩了一些。为了更好地理解代码，我使用Matrix创建了一个EXCEL。FUZZY的距离与FUZY
相比，图像表示1000多个单词。
通过这个EXCEL，我发现有可能进行其他性能优化。不需要计算右上方红色区域中的所有值。每个红色单元格的值都将导致左侧单元格的值加1。这是因为，第二个字符串在该区域中总是比第一个字符串长，这会使每个字符的距离增加1。 br />
您可以通过使用语句IF @j <= @i并在此语句之前增加@i的值来反映这一点。
CREATE FUNCTION [dbo].[f_LevenshteinDistance](@s1 nvarchar(3999), @s2 nvarchar(3999))
RETURNS int
AS
BEGIN
DECLARE @s1_len int;
DECLARE @s2_len int;
DECLARE @i int;
DECLARE @j int;
DECLARE @s1_char nchar;
DECLARE @c int;
DECLARE @c_temp int;
DECLARE @cv0 varbinary(8000);
DECLARE @cv1 varbinary(8000);
SELECT
@s1_len = LEN(@s1),
@s2_len = LEN(@s2),
@cv1 = 0x0000 ,
@j = 1 ,
@i = 1 ,
@c = 0
WHILE @j <= @s2_len
SELECT @cv1 = @cv1 + CAST(@j AS binary(2)), @j = @j + 1;
WHILE @i <= @s1_len
BEGIN
SELECT
@s1_char = SUBSTRING(@s1, @i, 1),
@c = @i ,
@cv0 = CAST(@i AS binary(2)),
@j = 1;
SET @i = @i + 1;
WHILE @j <= @s2_len
BEGIN
SET @c = @c + 1;
IF @j <= @i
BEGIN
SET @c_temp = CAST(SUBSTRING(@cv1, @j + @j - 1, 2) AS int) + CASE WHEN @s1_char = SUBSTRING(@s2, @j, 1) THEN 0 ELSE 1 END;
IF @c > @c_temp SET @c = @c_temp
SET @c_temp = CAST(SUBSTRING(@cv1, @j + @j + 1, 2) AS int) + 1;
IF @c > @c_temp SET @c = @c_temp;
END;
SELECT @cv0 = @cv0 + CAST(@c AS binary(2)), @j = @j + 1;
END;
SET @cv1 = @cv0;
END;
RETURN @c;
END;
评论
如所写，这并不总是能给出正确的结果。例如，输入（“ jane”，“ jeanne”）在距离应为2时将返回距离3。要纠正此错误，应添加此附加代码，如果@ s1的长度较短，则交换@ s1和@ s2比@ s2。
– hatchet-使用SOverflow完成
17年6月5日在23:44
#6 楼
在TSQL中，比较两项的最佳和最快方法是将索引表上的表联接在一起的SELECT语句。因此，如果您想受益于RDBMS引擎的优势，这就是我建议实现编辑距离的方式。 TSQL循环也可以使用，但是对于大批量比较而言，在其他语言中，Levenstein距离计算将比在TSQL中更快。我已经在几个系统中使用针对特定目的设计的临时表的一系列Joins实现了编辑距离。它需要一些繁重的预处理步骤-临时表的准备-但在进行大量比较时效果很好。
简而言之：预处理包括创建，填充和索引临时表。第一个包含参考ID，一个字母列和一个charindex列。通过运行一系列插入查询来填充此表，该查询将每个单词分解为字母（使用SELECT SUBSTRING）以创建与源列表中单词包含字母的行一样多的行（我知道，很多行，但SQL Server可以处理数十亿行）行）。然后再创建一个包含2个字母的列的第二个表，包含3个字母的列的另一个表等。最终结果是一系列表，其中包含每个单词的参考ID和子字符串，以及它们位置的参考
一旦完成，整个游戏就是复制这些表，并在GROUP BY select查询中将它们与它们的副本连接起来，该查询查询匹配的数量。这将为每个可能的单词对创建一系列度量，然后将这些度量重新汇总为每对单词的单个Levenstein距离。
从技术上讲，这与Levenstein距离（或其变体）的大多数其他实现有很大不同，因此您需要深入了解Levenstein距离是如何工作的以及为何按原样设计。还应研究替代方案，因为使用该方法最终会获得一系列基础指标，这些指标可以帮助同时计算编辑距离的许多变化形式，从而为您提供有趣的机器学习潜力。
此页面上的先前答案已经提到的另一点：请尝试尽可能地进行预处理，以消除不需要距离测量的线对。例如，应该排除两个没有共同字母的单词，因为可以从字符串的长度获得编辑距离。或者不要测量同一单词的两个副本之间的距离，因为它本质上为0。或在进行测量之前删除重复项，如果您的单词列表来自长文本，则同一单词可能会出现多次，因此仅测量一次即可节省处理时间，等等。
评论
我们如何使用它来查找表中最接近的5个字符串？我的意思是说，我有1000万行的街道名称表。我输入搜索街道名称，但写错了1个字符。如何查找性能最佳的前5个最接近的比赛？
–MonsterMMORPG
17年2月19日在1:06
除了蛮力（比较所有地址）之外，您不能这样做。 Levenshtein不能轻易利用索引。如果您可以通过可索引的内容（例如地址的邮政编码或姓名的语音代码）将候选者缩小为较小的子集，则可以将此处答案中的简单Levenshtein应用于子集。要应用到较大的整个集合，您需要使用Levenshtein Automata之类的东西，但是在SQL中实现它超出了此处要回答的SO问题的范围。
– hatchet-使用SOverflow完成
17年2月19日在1:30
理论上，@ MonsterMMORPG可以反向进行操作，并计算给定Levenshtein距离的所有可能排列。或者，您可以尝试查看地址中的单词是否构成了足够短的列表以至于无法使用（可能会忽略很少出现的单词）。
–TheConstructor
17年7月28日在7:59
@MonsterMMORPG-这很晚了，但是我想我会添加一个更好的答案。如果您知道允许的最小编辑数量，则可以像在github上的symspell项目中一样使用Symmetric Delete方法。您可以存储一小段删除排列的子集，然后在搜索字符串的一小段删除排列中搜索任何内容。在返回的集合上（如果只允许1或2个最大编辑距离，该值将很小），然后执行完整的levenshtein计算。但这应该比在所有字符串上都少得多。
– hatchet-使用SOverflow完成
17年12月20日在20:33
@DaveCousineau-如功能注释中所述，字符串比较对有效的SQL Server排序规则使用区分大小写。默认情况下，这通常意味着不区分大小写。查看我刚刚添加的帖子的编辑内容。关于归类，另一个答案中的Fribble实现的行为类似。
– hatchet-使用SOverflow完成
19年1月31日在21:40