检测从缓冲区读取的部分或不完整字符

Question

在一个循环中，我正在读取一个流，该流在每个循环中被编码为UTF-8,10字节（比方说）。由于流首先被传递到缓冲区，所以在将其转换为UTF-8字符串之前，我必须以字节为单位指定其读取长度。我面临的问题是，有时它会读到部分的、不完整的字符。我需要解决这个问题。

是否有一种方法来检测字符串是否以不完整的字符结尾，或者对字符串的最后一个字符进行检查以确定这一点？

最好是“非单一编码”解决方案。

Answer 1

如果缓冲区以一个不完整的字符结束，您将其转换为字符串，然后从该字符串初始化新缓冲区，则新缓冲区的长度将与原始缓冲区不同（如果使用utf8，则更长，如果使用ucs2，则更短）。

类似于：

var b1=new Buffer(buf.toString('utf8'), 'utf8');
if (b2.length !== buf.length) {
   // buffer has an incomplete character
} else {
   // buffer is OK
}

将所需的编码替换为“UTF8”。

请注意，这取决于buffer#toString的当前实现如何处理不完整的字符，尽管不太可能以导致等长缓冲区的方式进行更改（将来的实现可能会抛出错误，因此您可能应该将代码包装在try-catch块中）。