使用utf-8编码的utf-8读取文件不起作用，但使用“windows-1252”或“iso-8859-1”读取相同的文件起作用

Question

这里发生了什么？为什么当我使用utf-8读取文件时，它会在控制台中输出问号？

这是一个最小的工作示例：

import java.io.File;
import java.io.IOException;
import java.nio.charset.Charset;
    
import static org.apache.commons.io.FileUtils.readFileToString;
import static org.apache.commons.io.FileUtils.writeStringToFile;
    
public class Main {
    
    public static void main(String... args) throws IOException {
    
        System.out.println("---------");
        System.out.println(Charset.defaultCharset());
        System.out.println("æ ø å");
        System.out.println("æ ø å");
        System.out.println("æ ø å");
    
        File inputFile  = new File(System.getProperty("user.dir") + "/input.md");
        File outputFile = new File(System.getProperty("user.dir") + "/output.md");
    
        String content, encoding;
    
        System.out.println("--------- windows-1252");
        encoding = "windows-1252";
        content = readFileToString(inputFile, encoding);
        System.out.println(content);
    
    
        System.out.println("--------- iso-8859-1");
        encoding = "iso-8859-1";
        content = readFileToString(inputFile, encoding);
        System.out.println(content);
    
    
        System.out.println("--------- utf-8");
        encoding = "utf-8";
        content = readFileToString(inputFile, encoding);
        System.out.println(content);
    
    
        writeStringToFile(outputFile, content, encoding);
    
    }
    
}

其中<代码>输入。md包含：（UTF-8编码）

This is input.md. 'æ' 'ø' 'å'

运行上述代码会产生

---------
windows-1252
æ ø å
æ ø å
æ ø å
--------- windows-1252
This is file C. 'æ' 'ø' 'å'.
--------- iso-8859-1
This is file C. 'æ' 'ø' 'å'.
--------- utf-8
This is file C. '�' '�' '�'.

为什么我得到<代码>� 当我使用UTF-8读取文件时？这尤其奇怪，因为文件是用UTF-8编码的。

更新：我的控制台设置为“UTF-8”：

以下是从输入文件中提取的字符串中每个字符的十六进制值的屏幕截图：

以下是十六进制隔离的更好截图：

Answer 1

对于有类似问题的人来说，问题在于控制台的编码（正如@Remy Lebeau也指出的那样）。

我按照这个答案解决了这个问题

事实上，我在评论中关注了@Nicolas的回答，以获得提到的答案：

这也可以从“帮助”中访问

现在我得到了预期的输出：

Answer 2

代码在我看来很好，您的输出也很好。md文件看起来没问题。所以这很可能只是控制台输出的问题。

您正在试验的Unicode字符在Windows-1252和ISO-8859-1中编码为相同的单字节（æ=0xE6、ø=0xF8、å=0xE5），但在UTF-8中编码为多字节（æ=0xC3 0xA6、248=0xC3 0xB8、å=0xC3 0xA5）。

以Windows-1252或ISO-8859-1格式读取UTF-8编码文件将分别对每个字节进行解码，生成一个字符串，每个字节包含一个单独的字符，这些字符将与字节具有相同的数值。因此，您应该以包含字符的字符串结束，这些字符包括0x00C3 0x00A6、0x00C3 0x00B8和0x00C3 0x00A5。将这些字符作为Windows-1252输出到控制台应该显示为øå，而不是æå。

另一方面，将UTF-8编码的文件读取为UTF-8将正确解码该文件，生成带有字符的字符串，即0x00E6、0x00F8和0x00E5。将字符串写入UTF-8编码文件应该会产生正确的字节序列（0xC3 0xA6、0xC3 0xB8和0xC3 0xA5），但输出与Windows-1252相同的字符串有数据丢失的风险，但您应该看到，正如预期的那样，因为Windows-1252确实支持这些Unicode字符。

所以，你的结果实际上与我的预期相反。即使是字符集。defaultCharset（）正在报告Windows-1252，我怀疑您的控制台实际上使用了不同的字符集进行输出。

我建议您打印出内容字符串的单个字符的数值，以准确了解输入方式。md实际上是通过每个编码进行解码的。您应该得到我上面提到的char值。