Spring Boot批处理-ThreadPoolTaskExecutor未处理所有线程

Question

通过定义节流限制来解决：这里定义的相同：Spring batch Multithreading：节流限制影响

@Bean
public ThreadPoolTaskExecutor getJobTaskExecutor() {
    ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
    taskExecutor.setCorePoolSize(10);
    taskExecutor.setMaxPoolSize(10);
    taskExecutor.setQueueCapacity(0);
    taskExecutor.setThreadNamePrefix("ProcessJob-");
    taskExecutor.afterPropertiesSet();
    taskExecutor.initialize();
    return taskExecutor;
}

我注意到当我用20k条记录运行批处理时，一些线程已经开始处理，但在10个请求后就停止了。但是，其他线程正在正常处理。你能建议一下问题是什么吗？如果我保持corepoolsize=threadpoolsize=5，那么所有的线程都是正确分布的。

CorePoolSize=MaxPoolSize=10 (Threads are not distributed properly)
Thread Name           Count
---------------------------
Thread-ProcessJob-1     10
Thread-ProcessJob-10    4200
Thread-ProcessJob-2     10
Thread-ProcessJob-3     10
Thread-ProcessJob-4     10
Thread-ProcessJob-5     1290
Thread-ProcessJob-6     10
Thread-ProcessJob-7     4980
Thread-ProcessJob-8     4479
Thread-ProcessJob-9     4999

CorePoolSize=MaxPoolSize=5 (Threads are distributed properly)
Thread-ProcessJob-1     1199
Thread-ProcessJob-2     1201
Thread-ProcessJob-3     1214
Thread-ProcessJob-4     1211
Thread-ProcessJob-5     1209

Answer 1

您正在将任务执行器的QueueCapacity设置为0，这可能是问题的原因。还有一个参数可能在这里发挥作用，它是步骤的ThrottleLimit，默认值为4。您应该尝试增加它，并为您的用例找到最佳价值。

这里有多种因素：线程池核心/最大大小、步骤的chunkSize和throttleLimit、taskExecutor队列大小等。所有这些都可以在观察到的现象中发挥作用，没有找到最佳组合的方法，您需要以经验的方式进行。