使用Go读取用UCS-2小端编码的文本文件

Question

我有一个Go程序，可以读取类似以下代码的文本文件：

package main

import (
    "bufio"
    "log"
    "os"
)

func main() {
    file, err := os.Open("test.txt")

    if err != nil {
        log.Fatalf("failed opening file: %s", err)
    }

    scanner := bufio.NewScanner(file)
    scanner.Split(bufio.ScanLines)
    var txtlines []string

    for scanner.Scan() {
        txtlines = append(txtlines, scanner.Text())
    }

    file.Close()
}

游乐场：https://play.golang.org/p/cnDOEFaT0lr

该代码适用于所有文本文件，除了用UCS-2小端编码的文件。如何将文件转换为UFT8格式以读取它？

Answer 1

我有一个Go程序来读取文本文件。如何将[UCS-2 little endian]文件转换为UFT-8格式来读取？

统一码

常见问题解答：UTF-8、UTF-16、UTF-32

问：UCS-2和UTF-16有什么区别？

答：UCS-2是一个过时的术语，它指的是在替代代码点和UTF-16被添加到标准版本2.0之前，Unicode 1.1之前的Unicode实现。现在应该避免使用这个术语。

UCS-2没有描述不同于UTF-16的数据格式，因为两者都使用完全相同的16位代码单元表示。但是，UCS-2不解释代理代码点，因此不能用于一致地表示补充字符。

在过去，有时一个实现被标记为“UCS-2”，以表明它不支持补充字符，也不将代理代码点对解释为字符。这种实现不会处理字符属性、代码点边界、排序规则等的处理。补充字符。

UCS-2是UTF-16的适当子集。

例如

package main

import (
    "bufio"
    "fmt"
    "os"

    "golang.org/x/text/encoding/unicode"
)

func main() {
    // "Language Learning and Teaching" written in 16 or more languages: UCS-2
    // http://www.humancomp.org/unichtm/unilang.htm
    f, err := os.Open("unilang.htm")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    defer f.Close()

    dec := unicode.UTF16(unicode.LittleEndian, unicode.IgnoreBOM).NewDecoder()
    scn := bufio.NewScanner(dec.Reader(f))
    for scn.Scan() {
        fmt.Println(scn.Text())
    }
    if err := scn.Err(); err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
}

游乐场：https://play.golang.org/p/3VombFxUNb1