从REST API（JSON响应）中收集一系列分页结果（776页），并将最终结果插入到DB SQL或创建csv文件

Question

我正在使用一个Rest API，它从SQL Server数据库中公开了6212514行。REST API的响应是表示数据库行的JSON。

为了调用这个API REST并获取hole数据，我在每次迭代中都通过参数offset和limit使用分页：

null

http://localhost:8080/myapi/dwcopa/getslice？**limit**=8000&**offset**=1&bucd=xxx

• 呼叫2:

http://localhost:8080/myapi/dwcopa/getslice？**limit**=8000&**offset**=2&bucd=xxx

...

• 呼叫760:

http://localhost:8080/myapi/dwcopa/getslice？**limit**=8000&**offset**=760&bucd=xxx

在服务JAVA类中：

使用REST API的Spring Webclient：

public DwCopaServiceImpl() {
        this.webClient = WebClient.builder()
                .codecs(codecs ->codecs.defaultCodecs().maxInMemorySize(memSize) )
                .baseUrl(API_BASE_URL)
                .defaultHeader(HttpHeaders.CONTENT_TYPE, API_MIME_TYPE)
                .build();
    }

我使用Reactive Mono来不阻塞调用API，并迭代所有分页util response.islast（）为false（此字段指示REST API的此页是最后一页）

public Mono<List<DwCopaEntity>> getItems() {
        String url = "/dwcopa/getSlice?limit="+limit+"&offset="+offset+"&buCd="+BUCD;

        return fetchItems(url).expand(response -> {
            if (**response.isLast()** ) {
                return Mono.empty();
            }
            offset += 1 ;
            
            return fetchItems("/dwcopa/getSlice?limit="+limit+"&offset="+offset+"&buCd="+BUCD);
        }).flatMap(response -> Flux.fromIterable(response.getContent())).collectList();
    }

private Mono<ResponseApiNeo> fetchItems(String url) {

    System.out.println(url);
    return webClient.get().uri(url).retrieve().bodyToMono(ResponseApiNeo.class);
}

writeStreamToFile ( myService.getItems().block().parallelStream().map(data -> data.toString()), "C:\\Users\\myfolder\\Documents\\optfile.txt") ;

我对webflux和WebClient是新手。此解决方案需要25分钟来获取所有Api REST页面，并创建一个客户端未验证的文件txt：

有没有更好的解决方案多线程：

• 分页a hole rest API rest（760页）：（大数据响应：JSON总共6 GB）
• 将所有响应插入SQL数据库或创建csv文件？
• 性能至关重要（获取所有数据最多5分钟）
• 是否应该更正代码以获得更快的速度/添加线程？

非常感谢你的帮助。

Answer 1

您的API是否返回一个计数（无论是自己返回还是通过分页响应的属性返回）？

如果是这样（并且您的数据是以一致的顺序返回的），您可以将总数除以页面大小，并生成大量并发请求（并发执行100%的请求可能会过度加载您的服务和db，并导致它比顺序执行所有请求花费更长的时间）。

然后，您需要将所有响应重新组合到正确的位置。

我假设您无法控制正在使用的API，否则我建议将其转换为流endpoint（但这样您就会遇到长时间运行操作、中断后恢复等问题）