Levenshtein： MySQL + PHP

php mysql levenshtein-distance

2022-08-30 14:27:32

$word = strtolower($_GET['term']); 

$lev = 0;

$q = mysql_query("SELECT `term` FROM `words`"); 
while($r = mysql_fetch_assoc($q)) 
{ 
    $r['term'] = strtolower($r['term']); 

    $lev = levenshtein($word, $r['term']);

    if($lev >= 0 && $lev < 5)
    {
        $word = $r['term'];
    }
}

如何将所有这些内容移到一个查询中？不想查询所有术语并在PHP中进行过滤。

答案 1

你需要一个在MySQL中的levenshtein函数和查询

$word = mysql_real_escape_string($word);
mysql_qery("SELECT `term` FROM `words` WHERE levenshtein('$word', `term`) BETWEEN 0 AND 4");

答案 2

有两种方法可以在MySQL中实现Levenshtein函数。第一种方法是创建一个存储函数，其操作与存储事务非常相似，除了它具有不同的输入和输出。这对于小型数据集来说很好，但对于接近几千行的任何内容来说，这有点慢。

CREATE FUNCTION levenshtein( s1 VARCHAR(255), s2 VARCHAR(255) )
RETURNS INT
DETERMINISTIC

BEGIN
DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
DECLARE s1_char CHAR;
-- max strlen=255
DECLARE cv0, cv1 VARBINARY(256);
SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
IF s1 = s2 THEN
  RETURN 0;
ELSEIF s1_len = 0 THEN
  RETURN s2_len;
ELSEIF s2_len = 0 THEN
  RETURN s1_len;
ELSE
  WHILE j <= s2_len DO
    SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
  END WHILE;
  WHILE i <= s1_len DO
    SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
    WHILE j <= s2_len DO
    SET c = c + 1;
    IF s1_char = SUBSTRING(s2, j, 1) THEN
      SET cost = 0; ELSE SET cost = 1;
    END IF;
    SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
    IF c > c_temp THEN SET c = c_temp; END IF;
      SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
      IF c > c_temp THEN
        SET c = c_temp;
      END IF;
      SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
    END WHILE;
    SET cv1 = cv0, i = i + 1;
  END WHILE;
END IF;

RETURN c;

END//

将上述代码存储在.sql文件中，然后将其导入到数据库中，如下所示：

source /tmp/mysql_udf.sql

第二种方法是在C / C++中实现用户定义的函数，并将其作为共享库（*.so文件）链接到MySQL中。此方法还使用 STORAGE FUNCTION 来调用库，这意味着对此方法或第一种方法的实际查询可能相同（前提是两个函数的输入相同）。您可以在此处找到有关此方法的更多信息：http://samjlevy.com/mysql-levenshtein-and-damerau-levenshtein-udfs/

使用这两种方法中的任何一种，您的查询将如下所示：

SELECT term FROM words WHERE levenshtein(term, 'term') < 5;

另外，请记住，“阈值”值应相对于原始字长进行更改。最好从百分比值的角度来考虑它，即一半的单词= 50%，“term”的一半= 2。