java的UTF-16字符编码

Question

我试图理解Java中的字符编码。Java中的字符使用UTF-16编码以16位存储。因此，当我将一个包含6个字符的字符串转换为字节时，我得到了6个字节，如下所示，我期望它是12。我是不是漏掉了什么概念？

package learn.java;

public class CharacterTest {

    public static void main(String[] args) {
        String str = "Hadoop";
        byte bt[] = str.getBytes();
        System.out.println("the length of character array is " + bt.length);
    } 
}

O/p：字符数组的长度为6

按照@Darshan的说法，当尝试使用UTF-16编码获取字节时，结果也不是预期的。

package learn.java;

    public class CharacterTest {

        public static void main(String[] args) {

            String str = "Hadoop";
            try{
                byte bt[] = str.getBytes("UTF-16");
                System.out.println("the length of character array is " + bt.length);

            }
            catch(Exception e)
            {

            }
        } 
    }

o/p: the length of character array is 14

Answer 1

我认为这将有所帮助:每个软件开发人员绝对、肯定必须了解Unicode和字符集(没有借口！)乔尔·斯波尔斯基

这也将有所帮助：“UTF-16（16 位 Unicode 转换格式）是一种字符编码 [...]编码是一种可变长度的编码，因为代码点使用一个或两个 16 位代码单元进行编码。（来自维基百科）

Answer 2

根据＜code＞字符串。getBytes（）方法的文档中，使用平台的默认字符集将字符串编码为字节序列。

我假设您的平台默认字符集是ISO-8859-1(或者类似的每字符一字节字符集)。这些字符集将一个字符编码成一个字节。

如果要指定编码，请使用< code > String . getbytes(Charset)或< code > String . getbytes(String)方法。

关于 16 位存储：这是 Java 内部存储字符的方式，字符串也是如此。它基于原始的 Unicode 规范。

Answer 3

在UTF-16版本中，由于插入了一个标记来区分Big Endian（默认值）和Little Endian，因此可以得到14个字节。如果指定UTF-16LE，则将获得12个字节（小端，不添加字节顺序标记）。

参见http://www.unicode.org/faq/utf_bom.html#gen7

编辑 - 使用此程序查看不同编码生成的实际字节：

public class Test {
    public static void main(String args[]) throws Exception {
        // bytes in the first argument, encoded using second argument
        byte[] bs = args[0].getBytes(args[1]);
        System.err.println(bs.length + " bytes:");

        // print hex values of bytes and (if printable), the char itself
        char[] hex = "0123456789ABCDEF".toCharArray();
        for (int i=0; i<bs.length; i++) {
            int b = (bs[i] < 0) ? bs[i] + 256 : bs[i];
            System.err.print(hex[b>>4] + "" + hex[b&0xf] 
                + ( ! Character.isISOControl((char)b) ? ""+(char)b : ".")
                + ( (i%4 == 3) ? "\n" : " "));
        }
        System.err.println();   
    }
}

例如，在 UTF-8 下运行时（在其他 JVM 默认编码下，FE 和 FF 的字符将显示不同），输出为：

$ javac Test.java  && java -cp . Test hello UTF-16
12 bytes:
FEþ FFÿ 00. 68h
00. 65e 00. 6Cl
00. 6Cl 00. 6Fo

和

$ javac Test.java  && java -cp . Test hello UTF-16LE
10 bytes:
68h 00. 65e 00.
6Cl 00. 6Cl 00.
6Fo 00. 

和

$ javac Test.java  && java -cp . Test hello UTF-16BE
10 bytes:
00. 68h 00. 65e
00. 6Cl 00. 6Cl
00. 6Fo