确定用户感知字符数的正确算法是什么？

text diacritics unicode java language-agnostic

2022-09-03 08:07:36

我的任务是计算输入中感知到的字符数。输入是一组 int（我们可以将其视为一个），它表示 Unicode 码位。int[]

java.text.BreakIterator.getCharacterInstance（）是不允许的。（我的意思是他们的公式是允许的，也是我想要的，但是通过他们的源代码和状态表编织，我无处可去>.<）

我想知道在给定一些码位的情况下，计算字形簇数量的正确算法是什么？

最初，我认为我所要做的就是将所有事件组合在一起：

U+0300 – U+036F（组合变音符号）
U+1DC0 – U+1DFF（组合变音符号补充）
U+20D0 – U+20FF（符号组合变音符号）
U+FE20 - U+FE2F（合并半分）

到上一个非变音符号中。

但是，我意识到，在该操作之前，我必须首先删除所有非字符。

这包括：

U+FDD0 - U+FDEF
每个平面的最后两个码位

但是似乎还有更多的事情要做。Unicode.org 状态，我们需要包括（零宽度非连接符）和（零宽度连接器）作为连续字符集（源）的一部分。U+200CU+200D

除此之外，它还谈到了更多的事情，但整个主题都是以抽象的方式处理的。例如，组合标记的间距（形成朝鲜语音节的韩文 jamo 字符）的码位范围是什么？

有谁知道正确的算法来计算给定代码点的字形簇的数量吗？int[]

答案 1

没有一个适合所有用途的规范方法，但一个很好的起点是你链接到的 Unicode.org 页面上的Unicode Grapheme Cluster Boundary算法。基本上，Unicode 提供了每个代码点的字形中断属性的数据库，然后描述了一种算法，用于根据两个代码点分配的字形中断属性来决定是否允许在两个代码点之间进行字形中断。

以下是我不久前尝试过的实现（C++）的一部分：

bool BoundaryAllowed(char32_t cp, char32_t cp2) {
  // lbp: left break property; rbp: right break property
  auto lbp = get_property_for_codepoint(cp),
       rbp = get_property_for_codepoint(cp2);

  // Do not break between a CR and LF. Otherwise, break before and after
  // controls.
  if ((CR == lbp && LF == rbp)) {
    // The Unicode grapheme boundary algorithm does not handle LFCR new lines
    return false;
  }

  if (Control == lbp || CR == lbp || LF == lbp || Control == rbp || CR == rbp ||
      LF == rbp) {
    return true;
  }

  // Do not break Hangul syllable sequences.
  if ((L == lbp && (L == rbp || V == rbp || LV == rbp || LVT == rbp)) ||
      ((LV == lbp || V == lbp) && (V == rbp || T == rbp)) ||
      ((LVT == lbp || T == lbp) && (T == rbp))) {
    return false;
  }

  // Do not break before extending characters.
  if (Extend == rbp) {
    return false;
  }

  // Do not break before SpacingMarks, or after Prepend characters.
  if (Prepend == lbp || SpacingMark == rbp) {
    return false;
  }

  return true; // Otherwise, break everywhere.
}

为了获得不同类型的代码点的范围，您只需要查看Unicode字符数据库即可。具有字形中断属性的文件（根据范围描述它们）长约 1200 行：http://www.unicode.org/Public/6.1.0/ucd/auxiliary/

我不太确定忽略非字符代码点有多大价值，但是如果您的使用需要它，那么您将将其添加到您的实现中。

答案 2