在node.js应用程序中读取文件时出现奇怪的unicode字符

Question

我正在尝试编写一个节点应用程序，该应用程序读取一组文件，将它们拆分为行，然后将这些行放入数组中。非常简单。它适用于相当多的文件，除了我正在处理的一些SQL文件。出于某种原因，当我拆分行时，我似乎得到了某种unicode输出。该应用程序看起来像这样：

fs = require("fs");
var data = fs.readFileSync("test.sql", "utf8");
console.log(data);
lines = data.split("\n");
console.log(lines);

输入文件如下所示：

use whatever
go

输出如下所示:

��use whatever
go

[ '��u\u0000s\u0000e\u0000 \u0000w\u0000h\u0000a\u0000t\u0000e\u0000v\u0000e\u0000r\u0000',
  '\u0000g\u0000o\u0000',
  '\u0000' ]

正如您所看到的，在文件的开头有一些无法识别的字符。读入数据后直接输出，除了这个字符看起来还行。然而，如果我试图把它分成几行，我会得到所有这些类似unicode的字符。基本上，它是每个字符开头都带有“\u0000”的所有实际字符。

我不知道这里发生了什么，但它似乎与文件本身的字符有关。如果我将文件的文本复制并粘贴到另一个新文件中，并在新文件上运行应用程序，它就可以正常工作。我认为，在复制和粘贴过程中，导致此问题的任何内容都会被删除。

Answer 1

我在Windows命令提示符下执行了以下操作来转换字节顺序:

type file.txt > file2.txt

Answer 2

这可能是< code>BOM(字节顺序标记)吗？确保保存文件时没有< code>BOM或包含代码以去除< code>BOM。

BOM通常在文本编辑器中不可见。

我知道记事本有一个功能，你可以很容易地从一个文件中删除一个BOM。<代码>编码

Answer 3

您的文件是UTF-16 Little Big Endian，而不是UTF-8。

var data = fs.readFileSync("test.sql", "utf16le"); //Not sure if this eats the BOM

不幸的是node.js只支持UTF-16 Little Endian或UTF-16LE（从阅读文档中无法确定，它们之间略有不同；即UTF-16LE不使用BOM），因此您必须使用icon v或将文件转换为UTF-8。

例：

var Iconv  = require('iconv').Iconv,
    fs = require("fs");

var buffer = fs.readFileSync("test.sql"),
    iconv = new Iconv( "UTF-16", "UTF-8");

var result = iconv.convert(buffer).toString("utf8");