用于并行处理的Spring批处理中TaskExecutor的实现

Question

考虑一个阶跃豆：

@Bean
  public Step stepForChunkProcessing() {
    return stepBuilderFactory
        .get("stepForChunkProcessing")
        .<Entity1, Entity2>chunk(1000)
        .reader(reader())
        .processor(processor())
        .writer(writer())
        .taskExecutor(taskExecutor())
        .throttleLimit(10)
        .build();
  }
//@formatter:on

  @Bean
  public TaskExecutor taskExecutor(){
      return new SimpleAsyncTaskExecutor("MyApplication");
  }

要求：在Reader中，它从文件中读取（Entity1的）记录。在处理器中，它进行处理，在Writer中，它写入数据库。

在TaskExecutor之前，只创建了一个线程，它将在读取器和处理器中循环1000次，如上面的块设置中所定义的。然后它将移动到writer并写入所有1000条记录。它将再次从记录编号1001开始，然后在读取器和处理器中处理另外1000条记录。这是一个同步执行。

在TaskExecutor和throttle限制为10之后，创建了10个彼此独立的线程。他们如何维护文件中已经被其他线程处理的记录数量？还要考虑一下，如果我在reader的Read方法中给出synchronized关键字，不同的线程如何检查文件中已经处理过的记录？

Answer 1

这在多线程环境中是不可能的，如参考文档的多线程部分所述：

 Many participants in a Step (such as readers and writers) are stateful.
 If the state is not segregated by thread, then those components are not
 usable in a multi-threaded Step

这就是为什么文档提到关闭 AbstractItemCountingItemStreamItemReader#setSaveState 的 javadoc 上的状态管理的原因，以下是摘录：

Always set it to false if the reader is being used in a concurrent environment.