如何捕获node.js中的utf-8解码错误？

Question

我刚刚发现Node（已测试：v0.8.23，当前git：v0.11.3-pre）在其Buffer处理中忽略了任何解码错误，以'\ufffd'（Unicode
REPLACEMENT
CHARACTER）静默替换了任何非utf8字符，而不是抛出html" target="_blank">异常非utf8输入。因此，fs.readFile，process.stdin.setEncoding和朋友面膜类大对你坏输入错误的。

不会失败但确实应该的示例：

> notValidUTF8 = new Buffer([ 128 ], 'binary')
<Buffer 80>
> decodedAsUTF8 = notValidUTF8.toString('utf8') // no exception thrown here!
'�'
> decodedAsUTF8 === '\ufffd'
true

'\ufffd'是合法的utf8中可能出现的完全有效的字符（作为sequence ef bf bd），因此根据结果显示出来，对猴子补丁进行错误处理并不容易。

深入研究，看来这是由于节点只是顺应v8的字符串而来，而这些反过来又具有上述行为，v8没有任何外部世界充满外来编码数据。

是否有节点模块或其他让我捕获utf-8解码错误的模块，最好与上下文有关在输入字符串或缓冲区中发现错误的位置有关？

Answer 1

从节点8.3开始，可以使用util.TextDecoder彻底解决此问题：

const util = require('util')
const td = new util.TextDecoder('utf8', {fatal:true})
td.decode(Buffer.from('foo')) // works!
td.decode(Buffer.from([ 128 ], 'binary')) // throws TypeError

通过在全局名称空间中使用，这在某些浏览器中也将起作用TextDecoder。