为什么从Unicode字符集中删除了U D800到U DFFF范围内的代码点？

Question

我正在学习UTF-16编码，并且我已经读到，如果要表示U 10000到U 10FFFF范围内的码位，那么您必须使用代理项对，这些代理对在U D800到U DFFF的范围内。

因此，假设我想对以下代码点进行编码：U 10123（10000000100100011二进制）：

首先，我布局这个位序列：

110110xxxxxxxxxx 110111xxxxxxxxxx

然后我用代码点的二进制格式填充x的位置：

11011000010000001101110100100011（D840 DD23十六进制）

我也读过U D800到U DFFF范围内的代码点被从Unicode字符集中删除了，但我不明白为什么这个范围被删除了！

我的意思是这个范围可以很容易地编码为4个字节，例如，以下是U D812码位的UTF-16编码格式（1101100000010010二进制）：

1101100000110110 1101110000010010（D836 DC12 十六进制）

注意：我在示例中使用UTF-16 Big Endian。

Answer 1

由于将代码点编码为代理项对是从减去0x010000开始的，因此这将导致负数。这个减法的要点是允许65536个代码点，而不是对遗漏的2048进行编码。如果整个代码空间在遥远的将来用完，这可能会被证明是有用的。

Answer 2

我没有官方消息来源来支持这一点，但我相信这是为了防止混淆，这样你就无法得到一个可以解释为有效UTF-16和有效UCS-2的代码序列。与增加1048576个新代码点相比，2048个代码点的损失不算什么。

Answer 3

代码点U D800-U DFFF专门保留¹用于UTF-16。由于它们不在U 10000-U 10FFFF的范围内，UTF-16不会使用代理对单独对它们进行编码，因此这些单独的代码点在UTF-16序列中出现未编码是不明确的（并且是非法的。

根据 Unicode.org UTF-16 常见问题解答：

1:问:什么是代理人？

答：代理项是来自两个特殊 Unicode 值范围的代码点，保留用作 UTF-16 中成对代码单元的前导值和尾随值。前导（也称为高）代理项从 D800₁₆ 到 DBFF₁₆，尾随或低位代理项从 DC00₁₆ 到 DFFF₁₆。它们被称为代理项，因为它们不直接表示字符，而仅表示一对字符。

< sup>2:问:有没有无效的16位值？

答：未配对的代理在UTF中无效。这些包括D800₁₆到DBFF₁₆范围内的任何值，后跟DC00₁₆到DFFF₁₆范围内的任何值，或DC00₁₆到DFFF₁₆范围内的任何值，前跟D800₁₆到DBFF₁₆范围内的任何值。