解析一个巨大的json文件而不增加堆大小

Question

我在解析一个巨大的json文件（200mb）时遇到问题。起初，我尝试使用JACKSON将json解析为一棵树。然而，我遇到了堆大小问题。出于某种原因，增加堆大小不是一个选项。

JSON格式：

{ 
    "a1":{ "b1":{"c1":"somevalue", "c2":"somevalue"}, ... },
    "a2":{ "b1":{"c1":"somevalue"},"c3":"somevalue"}, ... },
    ....
}

我想做的是产生像这样的弦

str1 = "{ "b1":{"c1":"somevalue", "c2":"somevalue"}, ... }"
str2 = "{ "b1":{"c3":"somevalue"},"c4":"somevalue"}, ... }"

有没有办法做到这一点而不出现堆问题？

在python中，有一种简单的方法可以做到这一点，而且没有堆问题（没有JVM）

data  = json.loads(xxx)
for key,val in data.iteritems():
    puts val

一些想法：我可能不需要使用杰克逊树方法，因为我只想要字符串。流媒体Jackson可能是一种选择，但我很难编写它，因为我们的json格式非常灵活。任何建议都将不胜感激！

谢谢

Answer 1

最后，我使用流的方法。我从超文本传输协议打开一个流，每次读取固定数量的字节到缓冲区。在我确定我已经在缓冲区中建立了一个有效的字符串后，我发出字符串并截断缓冲区。这样我使用很少的内存。谢谢！

Answer 2

使用基于对象的数据绑定更节省内存，所以如果可以定义Java类来匹配结构，这是一种更好的方法：更快，使用更少的内存。但有时在结构未知的情况下需要树模型。

流式API可以提供帮助，您还可以混合使用各种方法：迭代JSON标记，然后使用JsonParser。readValueAs（MyType.class）或JsonParser。readValueAsTree（）。这只允许在内存中为JSON输入的子集构建树或对象。