REST调用减慢了Spring启动应用程序-需要提高性能

Question

我们有一个解析excel的应用程序（大约100k），对于excel中的每一行，我们将调用4个不同的REST调用[在不同的域中]，返回的输出存储在REDIS实例中以供进一步处理

1） 如果有100k条记录，我们将进行100k*4个REST API并行调用（50个线程并行），一条记录需要30秒才能完成整个过程。这似乎减慢了我们的进程，因此是否有其他替代框架（在java相关技术中会很有帮助）可以用来加快这个进程。

2） 由于REDIS是单线程的，我们按顺序插入数据，因此在该过程中需要更多的时间，是否有一种方法可以并行地从REDIS中放置和获取数据，或者是否有其他替代方法。

Answer 1

可以使用@Async（https://spring.io/guides/gs/async-method/），也可以使用执行程序同时执行多个进程。以下是我对执行者的处理方式：

ExecutorService executor = Executors.newFixedThreadPool(nThreads);
List<FutureTask<Integer>> workersList = new ArrayList<FutureTask<Integer>>();

然后将新线程提交给执行者：

for (int i = 0; i < nRecords; i++) {
  Worker worker = new Worker(args);
      workersList.add(worker);
       }
pool.shutdown(); // Disable new tasks from being submitted 
while (!executor.isTerminated()) {
                }
for (int i = 0; i < nRecords; i++) {
         System.out.println(workersList.get(i).get());
     }

你的工作线程应该实现可调用：

public class Worker implements Callable<Integer> (String[] args)

Answer 2

这真是件有趣的事，我脑海中突然Flink的一个解决方案是。

• 使用队列（例如Apache ActiveQ）

通过这样做，您的主服务将轻松地读取excel文件并将消息放入队列，您可以在放入队列之前使用标题来区分消息。如果您打算为不同类型的消息编写不同的服务，这些消息将从队列中使用，这将有所帮助。