在pig中解析复杂的json？

Question

我有以下格式的json文件：

{ "_id" : "foo.com", "categories" : [], "h1" : { "bar==" : { "first" : 1281916800, "last" : 1316995200 }, "foo==" : { "first" : 1281916800, "last" : 1316995200 } }, "name2" : [ "foobarl.com", "foobar2.com" ], "rep" : null }

那么，我如何在pig中解析这个json。。

此外，categories和rep中可以有一些char。。可能并不总是空的。我做了以下尝试。

a = load 'sample_json.json' using JsonLoader('id:chararray,categories:[chararray], hostt:{ (variable_a: {(first:int,last:int)})}, ns:[chararray],rep:chararray  ');

但我得到这个错误：

组织。科德豪斯。杰克逊。JsonParseException：意外字符（'D'（代码68））：在[源代码：java.io]处应为有效值（数字、字符串、数组、对象、“true”、“false”或“null”）。ByteArrayInputStream@4795b8e9; 第1行，第50列]位于组织。科德豪斯。杰克逊。JsonParser_org上的constructError（JsonParser.java:1291）。科德豪斯。杰克逊。实施。JsonParserMinimalBase_org上的reportError（JsonParserMinimalBase.java:385）。科德豪斯。杰克逊。实施。JsonParserMinimalBase_org上的reportUnexpectedChar（JsonParserMinimalBase.java:306）。科德豪斯。杰克逊。实施。Utf8StreamParser_位于org的handleUnexpectedValue（Utf8StreamParser.java:1582）。科德豪斯。杰克逊。实施。Utf8StreamParser。位于org的nextToken（Utf8StreamParser.java:386）。阿帕奇。猪内置。JsonLoader。org上的readField（JsonLoader.java:173）。阿帕奇。猪内置。JsonLoader。位于org的getNext（JsonLoader.java:157）。阿帕奇。猪后端。hadoop。executionengine。mapReduceLayer。PigRecordReader。org上的nextKeyValue（PigRecordReader.java:211）。阿帕奇。hadoop。映射。MapTask$NewTrackingRecordReader。位于org的nextKeyValue（MapTask.java:532）。阿帕奇。hadoop。mapreduce。MapContext。org上的nextKeyValue（MapContext.java:67）。阿帕奇。hadoop。mapreduce。映射器。在org上运行（Mapper.java:143）。阿帕奇。hadoop。映射。MapTask。在org上运行NewMapper（MapTask.java:764）。阿帕奇。hadoop。映射。MapTask。在org上运行（MapTask.java:370）。阿帕奇。hadoop。映射。LocalJobRunner$作业。运行（LocalJobRunner.java:212）

Answer 1

您可以使用elephant bird pig jar来解析json。它可以解析所有类型的json数据。下面是使用这个jar通过大象鸟pig解析json的一些示例。https://github.com/twitter/elephant-bird/tree/master/examples/src/main/pig

即使不存在预期的json标记，它也不会中断。