MSVC14根据源是UTF-8还是UTF-8 BOM对u8前缀的处理方式不同

Question

我正在用UTF-8和Qt做实验，遇到了一个奇怪的问题，所以我调查了一下。我创建了一个简单的程序，打印字节const char[]文字：

#include <cstdio>

const char* koshka = "кошка";
const char* utf8_koshka = u8"кошка";

void printhex(const char* str)
{
    for (; *str; ++str)
    {
        printf("%02X ", *str & 0xFF);
    }
    puts("");
}

int main(int argc, char *argv[])
{
    printhex(koshka);
    printhex(utf8_koshka);

    return 0;
}

如果我们使用BOM将文件保存为UTF-8，然后从Visual Studio 2015运行它，则将打印此文件：

3F 3F 3F 3F 3F
D0 BA D0 BE D1 88 D0 BA D0 B0

虽然我真的不明白第一个字符串是从哪里来的，但根据UTF-8编码表，第二个字符串正是应该的。

如果将完全相同的代码保存为UTF-8而不包含BOM，则这是输出：

D0 BA D0 BE D1 88 D0 BA D0 B0 
C3 90 C2 BA C3 90 C2 BE C3 91 CB 86 C3 90 C2 BA C3 90 C2 B0

因此，虽然它导致未固定的const char[]文本以UTF8的形式保存在二进制文件中，但出于某种原因，它会中断u8前缀。

但是，如果我们使用#Pragmaexecution_character_set（utf-8）强制执行字符集，在这两种情况下，两个字符串都打印为D0 BA D0 BE D1 88 D0 BA D0 B0（UTF-8有和没有BOM）。

我已经使用记事本之间的编码转换。

到底是怎么回事？

编辑：

艾伦的回答解释了这种行为的原因，但我想补充一句警告。我在使用Qt Creator开发Qt 5.5.1应用程序时遇到了这个问题。在5.5.1中，QString（const char*）构造函数将假设给定的字符串被编码为UTF-8，因此最终将调用QString::fromUtf8来构造对象。然而，Qt Creator（默认情况下）将每个文件保存为没有BOM的UTF；这导致MSVC将源输入误解为MBCS，这正是在这种情况下发生的事情，因此在默认设置下，以下操作将起作用：

QMessageBox::information(0, "test", "кошка");

这将失败（莫吉巴克）：

QMessageBox::information(0, "test", u8"кошка");

解决方案是在工具中启用BOM表-

Answer 1

编译器不知道文件的编码是什么。它试图通过查看输入的前缀来猜测。如果它看到一个UTF-8编码的BOM，那么它假设它正在处理UTF-8。如果没有，以及任何明显的UTF-16字符，它默认为其他字符。ISO拉丁语1？常见的本地MBCS是什么？（

如果没有BOM，编译器无法确定您的输入是UTF-8编码的，因此假设不是。

然后，它将UTF-8编码的每个字节视为单个字符；对于简单的文本，它被逐字复制，对于u8字符串，它被编码为UTF-8，给出了您看到的双重编码。

唯一的解决办法似乎是强制BOM；或者，使用UTF-16，这正是Windows平台所喜欢的。

另请参见MSVC中的源字符集编码规范，如gcc“-finput charset=charset”。