java中的UTF-16BE和UTF-16问题

Question

我有一个文件，当用geanny显示时*显示UTF-16BE。如果我尝试将这个Java文件转换为不同的编码（假设它是UTF-16BE)，那么一个问号（？）每次在新建文件的开头出现。相反，如果我假设它是在UTF-16中（这不是真的），转换后的文件就可以转换了，在开头没有任何问号。有谁能澄清为什么会有这种行为吗？

    StringBuilder sb = new StringBuilder();
    BufferedReader buff = new BufferedReader(new InputStreamReader(inputStream, utf16beCharset));
    String line = null;

    while ( (line = buff.readLine()) != null) {

        sb.append(line);
        sb.append('\n');
    }

    String output = new String(sb.toString().getBytes(neededCharset), neededCharset);
    System.out.println(output);

Answer 1

您的问题是BOM（字节顺序标记）。

如果您将字符集定义为UTF-16，那么Java将识别BOM并在读取后将其删除。然后，BOM告诉Java字符流是(UTF-16)BE。

如果定义utf-16be，则告诉Java忽略BOM，Java忽略它并将其写入目标文件。