特殊的ảỏ字符中断UTF-8编码

Question

我网站上的一位用户在文本字段中输入了特殊字符：Ảỏ

这些显然不是我可以从键盘输入的相同的äö字符，因为当我将它们粘贴到程序员的记事本中时，它们分成两部分：a–o–字符

在我的网站的服务器端，我有一个PHP脚本，它可以识别用户输入中的非法特殊字符，并在带有preg_replace的html错误消息中高亮显示这些字符。

字符分割也发生在那里，因此我得到了一个普通的字母a和o，带有一个奇怪的单独的xCC字符，它破坏了UTF-8字符串编码，json\u encode函数因此失败。

处理这些角色的最佳方式是什么？我是否应该尝试更换特殊的ảỏ字符并用常规字符替换它们，或者我是否可以以某种方式捕获损坏的UTF-8字符并移除或替换它们？

Answer 1

不是这些字符打破了编码，只是Unicode真的很复杂。

在Unicode标准中，常用的重音字母有自己的代码点，在这种情况下：

• U 00E4“带分音符的拉丁文小写字母A”
• U 00F6“带分音符的拉丁文小写字母O”

但是，为了避免对每种可能性进行编码，特别是当需要在同一个字母上放置多个变音符号（重音符号）时，Unicode包括“组合变音符号”，例如：

• U 0308"联合减压"

当放置在普通字母的代码点之后时，这些代码点在显示时为其添加变音符号。

正如您所看到的，这意味着有两种不同的方式来表示同一个字母。为了帮助实现这一点，Unicode包括Unicode标准附录中定义的“规范化形式”：

• 规范化形式D（NFD）：规范分解
• 规范化形式C（NFC）：正则分解，然后是正则合成
• 规范化表单KD（NFKD）：兼容性分解
• 规范化形式KC（NFKC）：兼容性分解，然后是规范组合

暂时忽略“兼容性”表格，我们有两种选择：

• 分解，尽可能多地使用组合变音符号
• 组合，尽可能经常使用特定的代码点

因此，一种可能性是将您的输入转换为NFC，这在PHP中可以通过intl扩展中的Normalizer类来实现。

然而，并不是所有的组合都可以规范化为没有单独变音符号的形式，所以这并不能解决你所有的问题。您还需要查看您想要允许哪些字符，可能是通过匹配Unicode字符属性。

您可能还想了解“grapheme集群”并使用相关的PHP函数。“字群”或“字群”是大多数读者认为的“字符”——例如，一个带有所有发音符号的字母，或一个完整的表意文字。