如何使用Reactor处理来自API的大型JSON响应？

Question

API响应一个JSON对象，该对象具有一个对象数组，如{"项目"：[{...}，{...}，...]，...，其中包含我们需要处理的数据。问题是数组有1.000个对象，endpoint响应很慢，所以流式传输需要几秒钟才能完成，而我们的“博客”编程模型使用Apache HttpClient来消耗endpoint，杰克逊来序列化响应，我们等待为了获得完整的正文来解析保存数组的所有对象，而不是在每个元素到来时处理它们，节省了内存使用的时间，因为一旦处理了一个元素，我们可以让GC释放该元素使用的内存。

当数据到来时，我如何使用Reactor项目的响应？更改我们正在使用的HTTP客户端和/或序列化程序没有问题。此外，我们使用Java8与Spring MVC与Spring 4.3，但我们可以移动项目到即将发布的Spring。

注意：endpoint是一个第三方API，一个HTTP 1.1服务器的简单GET，我们不能改变它的工作方式，比如添加分页或类似的东西。

Answer 1

这个用例在即将推出的SpringWebrehtml" target="_blank">activeFramework上得到支持，SpringWebreactiveFramework目前在SpringFramework 5.0m3中提供，并通过start提供。Spring选择Spring Boot 2.0 Web响应依赖项时的io。

当您使用Flux输入参数或返回值时，处理的每个步骤都是异步和非阻塞的，Jackson用于序列化每个单独的元素，以便允许您序列化/反序列化大型且可能有限的元素流。在这种情况下，Spring将负责识别数组中的单个JSON元素以进行反序列化，或者添加JSON数组的[、、和]以进行序列化。这还允许使用像Twiter JSON API这样的JSON流。

请注意，一旦Jackson将支持异步非阻塞处理，我们将更新Spring Framework 5编解码器以本机使用该编解码器。