哪些字符不能直接从Cp1252映射到UTF-8？

Question

我在几个stackoverflow的答案中读到，当从Cp1252（又名Windows-1252；它们是相同的，不是吗？）转换时，一些字符不会直接映射（甚至“不可映射”）至UTF-8，例如，此处：https://stackoverflow.com/a/23399926/2018047

有人能再解释一下吗？这是否意味着，如果我将源代码从cp1252批量/批量转换为utf-8，我将得到一些最终将成为垃圾的字符？

Answer 1

有人能再解释一下吗？

cp1252解码功能主要是标识功能。

cp1252    UCP       (UCP = Unicode Code Point)
--------  --------
21        21 (!)    (All numbers in hex)
31        31 (1)
41        41 (A)

这使得它看起来像是期待UCP（而不是UTF-8）也将接受cp1252。链接答案的作者指出情况并非如此。

cp1252    UCP
--------  --------
80        20AC (€)
85        2026 (…)
99        2122 (™)

所有异常都在80到9F之间（含80和9F）。

接受UCP的东西也将接受iso-8859-1，但不接受cp1252。

这是否意味着，如果我将源代码从cp1252批量/批量转换为utf-8，我将得到一些最终将成为垃圾的字符？

没有。cp1252中的每个字符都映射到Unicode Code，因此可以使用适当的工具成功地将其转换为UTF-8。

Answer 2

这就是Windows 1252代码页的样子。

如您所见，字节0x81、0x8D、0x8F、0x90、0x9D没有任何分配给它们的内容。

如果输入文件包含这些字节，并且将其视为Windows 1252编码，则这些字节将被视为无效字符。在正常情况下，这意味着输入文件不在Windows 1252中。

所有其他字节编码可打印字符或控制字符，所有这些字符都存在于Unicode中，因此可以明确地编码在UTF-8中。

我不知道链接的答案是什么，它的最后一段听起来像胡说八道。

还有一些评论，可能会对你想知道的事情有所启发：

>

这两种编码都不会将文本编码为特定的字节值，每种情况下都是不同的

此外，某些字节序列在UTF-8中也是无效的

通常，如果您将文件视为包含UTF-8或Windows 1252中编码的文本，但事实并非如此，则会丢失和损坏数据

您可以在IDE或编辑器中选择文件的编码。建议只使用UTF-8。您必须转换现有的Windows 1252文件。