带有重音的希腊元音，显示为两个字符而不是一个字符

Question

我在处理希腊语的输入，元音可以有重音。

我注意到一些奇怪的输入中包含元音与重音，有时相同的元音与重音似乎是两个独立的字符，而其他时候相同的元音与重音似乎是一个字符，我想不同的字符集编码是有罪的行为。

示例如下所示

έ -----

έ -----

1. 这种现象的根本原因是什么？
2. 我怎么可能将所有这两个字符的音调元音转换为单字符的音调元音？（例如将έ转换为Ⅲ），有没有任何“全局方法”来处理这种编码问题？

目前，作为一种解决方案，我所做的是将任何可能的两个字符元音替换为单个字符，如下所示：

text = text.replaceAll("ά", "ά")
        .replaceAll("έ", "έ")
        .replaceAll("ή", "ή")
        .replaceAll("ί", "ί")
        .replaceAll("ύ", "ύ")
        .replaceAll("ό", "ό")
        .replaceAll("ώ", "ώ")
        .replaceAll("Ά", "Ά")
        .replaceAll("Έ", "Έ")
        .replaceAll("Ή", "Ή")
        .replaceAll("Ί", "Ί")
        .replaceAll("Ύ", "Ύ")
        .replaceAll("Ό", "Ό")
        .replaceAll("Ώ", "Ώ");

但应该有更好的方法来实现这一点，我使用Java进行文本处理

Answer 1

根本原因：有时用Unicode有许多不同的方式来表示相同的字形。通常我们转换为规范形式，但有两种规范/规范化形式（分解：NFD和组合：NFC）。苹果更喜欢第一种（这是Unicode最初的首选方式），大多数其他操作系统更喜欢第二种。每种字体都有自己的偏好（但shaper库会处理它）。

您可以将文本转换为规范组合形式（NFC），但并非所有字形都可以转换为单个字符：某些重音和基本字符的组合需要两个码点（如果您有多个重音，则需要更多码点）。

Answer 2

由于Unicode的复杂性，同一文本有多种编码方式。可以使用锐音符将ε编码为单个字符“带TONOS的希腊小写字母EPSILON”（U 03AD），或编码为“希腊小写字母EPSILON”（U 03B5），后跟“组合锐音符”（U 0301）。不同的人和软件有时会对这些进行不同的编码。

要转换为“更紧凑”的编码，可以使用java。文本归一化器类和归一化形式C（NFC）。

// you can pass the entire string into this:
Normalizer.normalize("ε\u0301", Normalizer.Form.NFC) // produces a string with a \u03AD char

不太紧凑的编码称为NFD。