Spring Batch从Rest web服务读取大量数据

Question

import org.springframework.batch.item.ItemReader;
import org.springframework.http.ResponseEntity;
import org.springframework.web.client.RestTemplate;

import java.util.Arrays;
import java.util.List;

class RESTDataReader implements ItemReader<DataDTO> {

private final String apiUrl;
private final RestTemplate restTemplate;

private int nextDataIndex;
private List<DataDTO> data;

RESTDataReader(String apiUrl, RestTemplate restTemplate) {
    this.apiUrl = apiUrl;
    this.restTemplate = restTemplate;
    nextDataIndex = 0;
}

@Override
public DataDTO read() throws Exception {
    if (dataIsNotInitialized()) {
        data = fetchDataFromAPI();
    }

    DataDTO nextData = null;

    if (nextDataIndex < data.size()) {
        nextData = data.get(nextDataIndex);
        nextDataIndex++;
    }
    else {
        nextDataIndex= 0;
        data = null;
    }

    return nextData;
}

private boolean dataIsNotInitialized() {
    return this.data == null;
}

private List<DataDTO> fetchDataFromAPI() {
    ResponseEntity<DataDTO[]> response = restTemplate.getForEntity(apiUrl,
            DataDTO[].class
    );
    DataDTO[] data= response.getBody();
    return Arrays.asList(data);
}
}

例如：如果我在01012020和01012021之间调用它，我将获得8000万个数据。

PS：web服务按一天的分页方式工作，也就是说，如果我想检索01/09/2020到07/09/2020之间的数据，我必须调用它几次（01/09-02/09之间，然后02/09-03/09之间，依此类推，直到06/09-07/09）

在这种情况下，如果数据很大，我的问题是堆空间内存。

Answer 1

由于您的web服务不会在一天内提供分页，因此您需要确保调用该web服务的进程（即您的Spring批处理作业）有足够的内存来存储该服务返回的所有项。

例如：如果我在01012020和01012021之间调用它，我将获得8000万个数据。

这意味着，如果在没有足够内存保存结果的计算机上使用curl调用此web服务，则curl命令将失败。这里我想指出的一点是，解决这个问题的唯一方法是为运行Spring批处理作业的JVM提供足够的内存来容纳如此大的结果集。