如何使Apache Drill解析带有无效UTF8字符的JSON文件

Question

我试图使用Apache Drill对JSON文件运行一个SELECT查询。我得到不同文件的各种错误。所有错误都是JSON解析错误：

>

错误：DATA_READ错误：分析JSON时出错-无效的UTF-8中间字节0x3F

错误：DATA_READ错误：解析JSON时出错-非法的无引号字符（(CTRL-CHAR，代码13））：必须使用反斜杠转义才能包含在字符串值中

对于第一个错误，它是由于某些字符的存在，如“‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？‘？’？

• 对包含无效UTF-8字符的字段使用convert_to和convert_from（无效。不要认为这些函数是用于此目的。）
• 将-dsaffron.default.charset=utf-16le添加到conf/drill-env.sh中的DRILL_JAVA_OPTS（不起作用，因为如果查询而不是数据包含无效的UTF-8字符，则使用此选项）
• 使用notepad++将文件编码更改为UTF-8（不起作用。希望这能起作用）
• 尝试使用Notepad++将文件编码更改为UTF-8（没有BOM）(Notepad++无法将其转换。保存后，再次打开时为ANSI)

Answer 1

将编码更改为“UTF-8 with BOM”，使用以下任一项：

• 记事本++
• iconv（shell实用程序）

并且，您将能够使用Apache Drill查询它。

使用iConv转换的文件和使用notepad++转换的文件（基本上，任何转换为“UTF-8 with BOM”的文件）都可以使用Apache Drill进行解析。

要转换：

• 使用记事本++:从菜单栏中选择“编码”，将其更改为“UTF8 with BOM”并保存文件。如果此编码未显示在编码列表中，则可能有某个插件（或其他方式）可在Notepad++中使用。
• 使用iConv：下载实用程序并使用以下命令运行它：iConv-f old-encoding-t new-encoding（本例中为UTF-8)file.txt>newfile.txt

注意：对于大文件，您可能需要在转换之前将其拆分，因为在我的例子中，Notepad++无法打开2GB文件，iConv也无法转换。