什么是确定2个字符串是否“足够相似”的良好指标

我正在研究一个非常粗略的初稿算法,以确定2个字符串的相似程度。我还使用Levenshtein Distance来计算字符串之间的编辑距离。

我目前所做的基本上是获取编辑总数并将其除以较大字符串的大小。如果该值低于某个阈值(当前随机设置为 25%),则它们“足够相似”。

但是,这完全是武断的,我认为这不是计算相似性的好方法。是否有某种数学方程或概率/统计方法来获取Levenshtein距离数据并使用它来表示“是的,根据所做的编辑次数和字符串的大小,这些字符串足够相似”?

另外,这里的关键是我使用了任意阈值,我宁愿不这样做。我如何计算这个阈值而不是分配它,以便我可以安全地说2个字符串“足够相似”

更新

我正在比较表示 Java 堆栈跟踪的字符串。我想这样做的原因是按相似性对一堆给定的堆栈跟踪进行分组,并将其用作过滤器对“内容”进行排序:)由于更高层次的原因,这种分组很重要,我无法完全公开分享。


到目前为止,我的算法(伪代码)大致如下:

/*
 * The input lists represent the Strings I want to test for similarity. The
 * Strings are split apart based on new lines / carriage returns because Java
 * stack traces are not a giant one-line String, rather a multi-line String.
 * So each element in the input lists is a "line" from its stack trace.
 */
calculate similarity (List<String> list1, List<String> list2) {

    length1 = 0;
    length2 = 0;
    levenshteinDistance = 0;

    iterator1 = list1.iterator();
    iterator2 = list2.iterator();

    while ( iterator1.hasNext() && iterator2.hasNext() ) {

        // skip blank/empty lines because they are not interesting
        str1 = iterator1.next();    length1 += str1.length();
        str2 = iterator2.next();    length2 += str2.length();

        levensteinDistance += getLevenshteinDistance(str1, str2);
    }

    // handle the rest of the lines from the iterator that has not terminated

    difference = levenshteinDistance / Math.max(length1, length2);

    return (difference < 0.25) ? true : false; // <- arbitrary threshold, yuck!
}

答案 1

使用余弦相似性怎么样?这是评估两个文本之间相似性的一般技术。它的工作原理如下:

从两个字符串中获取所有字母,构建一个如下表:

Letter | String1 | String2

这可以是一个简单的哈希表或其他任何东西。

在字母列中,每个字母都放在字符串列中,在字符串列中,将它们的频率放在该字符串中(如果字母未出现在字符串中,则值为 0)。

它被称为余弦相似性,因为您将两个字符串列中的每一个解释为向量,其中每个分量都是与字母关联的数字。接下来,计算向量之间“角度”的余弦值::

C = (V1 * V2) / (|V1| * |V2|)

分子是点积,即相应分量的乘积之和,分母是向量大小的乘积。

C 与 1 的接近程度给出了字符串的相似程度。

它可能看起来很复杂,但一旦你理解了这个想法,它就只是几行代码。

让我们看一个例子:考虑字符串

s1 = aabccdd
s2 = ababcd

该表如下所示:

Letter a b c d
s1     2 1 2 2
s2     2 2 1 1

因此:

C = (V1 * V2) / (|V1| * |V2|) = 
(2 * 2 + 1 * 2 + 2 * 1 + 2 * 1) / (sqrt(13) * sqrt(10)) = 0.877

所以它们“漂亮”相似。


答案 2

堆栈跟踪的格式适合解析。我只会使用解析库解析堆栈跟踪,然后您可以提取要比较的任何语义内容。

当字符串没有像您预期的那样进行比较时,相似性算法将变慢且难以调试。