如何在Quarkus中通过REST从数据库流式传输大型数据

Question

我正在Quarkus中实现一个GET方法，它应该向客户端发送大量数据。使用JPA/Hibernate从数据库中读取数据，序列化为JSON，然后发送到客户端。如果没有整个数据在内存中，如何有效地完成此操作？我尝试了以下三种可能性，但都没有成功：

1. 使用JPA中的getResultList，返回一个以列表为主体的响应。MessageBodyWriter将负责将列表序列化为JSON。然而，这会将所有数据拉入内存，这对于大量记录来说是不可行的
2. 使用JPA中的getResultStream，返回以流为主体的响应。MessageBodyWriter将负责将流序列化为JSON。不幸的是，这不起作用，因为在执行JAX-RS方法之后，在调用MessageBodyWriter之前，似乎关闭了EntityManager。这意味着基础结果集也被关闭，写入程序无法再从流中读取
3. 使用流输出作为响应体。与2中的问题相同。发生

所以我的问题是：用Quarkus通过JPA发送读取的大数据的诀窍是什么？

Answer 1

这里有一些资源可以帮助您做到这一点：

• 使用反应式Hibernate：https://quarkusio.zulipchat.com/#narrow/stream/187030-用户/主题/大型。20个数据集。20使用。20无功。20SQL。20个客户
• 分页与仅转发结果集：https://knes1.github.io/blog/2015/2015-10-19-streaming-mysql-results-using-java8-streams-and-spring-data.html

最后一篇文章是针对SpringBoot的，但这个想法也可以用Quakus实现。

------------编辑：

好的，我已经制定了一个示例，在其中我进行批量选择。我做得很华丽，但没有它你也可以很容易地做到。

我将返回一个ScrollableResult，然后在Rest资源中使用它，通过SSE（服务器发送事件）将其流式传输到客户端。

------------编辑2：

我已将setFetchSize添加到查询中。你应该使用这个数字，并将其设置在1-50之间。如果value=1，则db行将以1乘1的方式提取，这最像流。它将使用最少的内存，但db之间的I/O

在进行这样的批量操作时，强烈建议使用无状态会话。

@Entity
public class Fruit extends PanacheEntity {

    public String name;
    
    // I've removed the logic from here to the Rest resource, 
     // otherwise you cannot close the session
    
}

@Path("/fruits")
public class FruitResource {

    @GET
    @Produces(SERVER_SENT_EVENTS)
    public void fruitsStream(@Context Sse sse, @Context SseEventSink sink) {
        var sf = Fruit.getEntityManager().getEntityManagerFactory().unwrap(SessionFactory.class);

        try (var session = sf.openStatelessSession();
             var scrollableResults = session.createQuery("select f from Fruit f")
                                    .scroll(ScrollMode.FORWARD_ONLY) 
                                    .setFetchSize(1) {
            while (scrollableResults.next()) {
                sink.send(sse.newEventBuilder().data(scrollableResults.get(0)).mediaType(APPLICATION_JSON_TYPE).build());
            }
            sink.close();
        }
    }
}

然后我这样调用这个Restendpoint（通过httpie）：

> http :8080/fruits --stream

data: {"id":9996,"name":"applecfcdd592-1934-4f0e-a6a8-2f88fae5d14c"}

data: {"id":9997,"name":"apple7f5045a8-03bd-4bf5-9809-03b22069d9f3"}

data: {"id":9998,"name":"apple0982b65a-bc74-408f-a6e7-a165ec3250a1"}

data: {"id":9999,"name":"apple2f347c25-d0a1-46b7-bcb6-1f1fd5098402"}

data: {"id":10000,"name":"apple65d456b8-fb04-41da-bf07-73c962930629"}

希望这对你有帮助。

Answer 2

根据您的要求，您有两种选择：

选项1：采用HATEOAS方法（https://restfulapi.net/hateoas/）。通过REST标准交换大数据集的标准模式之一。因此，在这种方法中，服务器将在第一次响应中快速响应一组HATEOAS URI。其中每个HATEOAS URI代表一组元素。因此，您需要根据数据大小生成这些URI，并让客户端代码负责将这些URI作为REST API单独调用以获取实际数据。但在这个选项中，您也可以考虑Reactive风格，以获得具有小内存足迹的流处理的更多优势。

选项2：正如上面@Serkan所建议的，将结果集作为REST响应从数据库连续流式传输到客户端。在这里，您需要确保客户端和服务之间的网关用于超时设置。如果没有门户，你就是好的。因此，您可以利用所有层的反应式编程来实现连续流。“DAO/数据访问层”--

Answer 3

您的结果是否必须全部包含在一个响应中？让客户端请求下一个结果页，直到没有下一个结果页为止，这是一个典型的REST API分页练习，怎么样？此外，JPA后端将只从数据库中获取该页面，因此没有任何时候所有内容都会存储在内存中。