如何用线程池并行化单个quartz作业？

Question

我在Spring boot应用程序中有一个quartz调度作业，通过每5分钟激发一次的方法，将一个大列表中的项目发送到一些webservices。

我在下面的代码中尝试了一个ThreadPoolTaskExecutor，其池大小为5个线程。然而，当我执行并检查作业日志时，它说作业只需几秒钟就完成了，但发送所有数据需要几分钟。它继续正常工作，但工作似乎在几秒钟内完成。它可能表示在设置了所有线程之后作业就完成了。这是我避免的，因为我不知道作业执行时间和日志。

@Autowired
MyService myService;

@NonTransactionalService 
public class MySenderService{

    ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
    taskExecutor.setCorePoolSize(5);
    taskExecutor.setMaxPoolSize(5);
    taskExecutor.initialize();

    public void sendAll(){
        List<Long> largeList = someMethod();
        largeList.stream().forEach(i -> {
            taskExecutor.execute(new Runnable() {
                @Override
                public void run() {
                    myService.send(i);
                }
            });
        }
    }
}

那么，如何在一个作业中使用多个工作者来运行这个发送方法呢？
或者设置多个相同的作业来通过相同的方法发送相同的列表是一个好的做法吗？

Answer 1

您可以尝试使用Flux，IMHO是需要更少代码的解决方案：

        ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
        taskExecutor.setCorePoolSize(5);
        taskExecutor.setMaxPoolSize(5);
        taskExecutor.initialize();

        List<Integer> largeList = someMethod();
        System.out.println(largeList);
        Flux.fromStream(largeList.stream())
                .parallel(5)
                .runOn(Schedulers.fromExecutor(taskExecutor))
                .subscribe( x -> { System.out.println(x);});

        taskExecutor.shutdown();

不要忘记关闭TaskExecutor，但要作为@M。Deinum说，最好是让它在别处创建并注入到你的服务中。