如何快速安全地调用rest api 600,000次并插入600,000*n

Question

我的待办事项清单

>

rest api获取请求约600000次--600000=2009~now*condition1*condition2*condition3*condition4

处理json数据=600,000*n（使{平面json}...从{[json数组]}）

在mariaDB中插入数据（600000*n）

我使用4个嵌套循环（条件数）创建了一个请求url，并在一个开放连接上收到了响应数据。

但是，一些数据导致读取超时（con.setReadTimeout（1000*60）--1min）。

我的方法一天内没有收到所有数据。

而insert甚至都没试过。

我想我应该一次多线程完成待办事项列表，对吗？

请告知如何快速安全地调用rest api并处理数据和插入。

下面是我的代码。

    ExecutorService executor = Executors.newWorkStealingPool();
    List<Callable<String>> callables = null;
     for (String url : urlList) { //600,000 count
                callables.add(getRestapiData(url)); //call rest api 
            }

            try {
                executor.invokeAll(callables)
                        .stream()
                        .map(future -> {
                            try {
                                return future.get();
                            } catch (Exception e) {
                                throw new IllegalStateException(e);
                            }
                        }).map(DataSummaryServiceLogic::getSettedKamisApi1DataList). //process ->return (600,000 * list.size) list
flatMap(Collection::stream). 
forEach(api1 -> provider.insertInitKamisApi1(api1)); //insertData
            } catch (InterruptedException e) {
                e.printStackTrace();
            }

Answer 1

@基于您共享的有限信息，您需要进行适当的异常处理。如果一个请求超时超过600k，则不应导致其他请求失败。您可以在日志/重新处理表等中捕获由于任何原因失败的请求，然后重试。

在实现多线程时，你可以使用一个线程池，并向他们提交单独的请求，以使其更快，因为你有足够的内核来执行这些额外的线程。