应该在输出中过滤的Unicode字符列表？

Question

最近，由于浏览器支持的数据质量问题，我遇到了一个bug，我正在寻找一个安全规则，用于应用字符串转义而不需要双重大小，除非需要。

UTF-8字节序列“E2-80-A8”（U 2028，行分隔符），在Unicode数据库中是完全有效的字符。但是，该序列表示一个行分隔符（是，除“0A”外）。

而且糟糕的是，很多浏览器(包括Chrome、Firefox、Safari我没有测试其他的)，无法处理一个JSONP回调，该回调包含一个包含Unicode字符的字符串。JSONP包含在一个我无法控制的非Unicode HTML中。

浏览器只是报告了此类JavaScript上的无效代码/语法错误，从调试工具和所有文本编辑器来看，这些错误是有效的。我猜测的是，它可能试图将“E2-80-A8”转换为BIG-5并破坏JS语法。

以上只是Unicode如何意外破坏系统的示例。据我所知，一些黑客可以使用RTL和其他控制字符来达到他们的目的。在Unicode规范中有许多“引号”、“空格”、“符号”和“控件”。

问题：

是否有一个Unicode字符列表，让每个程序员都知道我们可能不希望它们在我们的应用程序中有效的隐藏特性(和错误)。(例如，Windows禁用文件名中的RTL)。

编辑：

我不是要求JSON或JavaScript。我要求在所有程序中的Unicode处理的一般最佳实践。

Answer 1

请看Unicode图表。有一个非打印字符列表。这些都是潜在的麻烦制造者。你的朋友U 2028有很多朋友：http://www.unicode.org/charts/PDF/U2000.pdf而且不只是在2000年的范围内。

你可以把它们全部核弹，或者把它们分成不同的类别（像U 2028这样的SEP字符变成\n或正确转义）等等。

高温高压

Answer 2

有一个字符属性数据库和一个描述它的报告，UNICODE character database，它很好地说明了浏览器“应该”如何处理代码点。我喜欢“应该”这个词。最安全的是白名单，您可能会选择L|M|N|S、字母或标记、数字或符号。

看看图书馆的ICU项目

Answer 3

它会破坏javascript，因为字符串中不能有换行符：

var myString = "

";

//SyntaxError: Unexpected token ILLEGAL

现在，UTF-8序列< code >“E2-80-A8”解码为unicode码位< code>U 2028，其处理方式类似于javascript中的换行符:

 var myString = "
";

//Syntax Error

然而，写它是安全的

var myString = "\u2028";
//you can now log myString in console and get real representation of this character

这就是正确编码的JSON将拥有的。我会研究如何正确编码JSON，而不是保留一个不安全字符的黑名单。(分别是U 2028和U 2029 AFAIK)。

在菲律宾比索中：

echo json_encode( chr(0xe2). chr(0x80).chr(0xA8 ) );
//"\u2028"