Spring批处理线程安全项目阅读器（进程指示模式）

Question

@Controller
public class JobController {

    @Autowired
    private JobLauncher jobLauncher;

    @Autowired
    private Job testJob;

    @RequestMapping("/job/test")
    public void test() {
        JobParametersBuilder jobParametersBuilder = new JobParametersBuilder();
        jobParametersBuilder.addDate("date",new Date());
        try {
            jobLauncher.run(personJob,jobParametersBuilder.toJobParameters());
        } catch (JobExecutionAlreadyRunningException | JobRestartException | JobParametersInvalidException | JobInstanceAlreadyCompleteException e) {
            e.printStackTrace();
        }

    }

}

TestJob从文件系统（主块）读取数据并将其发送到远程块（从块）。问题是ItemReader不是线程安全的。

对于一些常见的批处理用例，使用多线程步骤有一些实际的限制。一个步骤中的许多参与者（例如，读取器和写入器）都是有状态的，如果状态不按线程隔离，那么这些组件在多线程步骤中是不可用的。特别是，Spring Batch中的大多数现成阅读器和编写器都不是为多线程使用而设计的。但是，可以使用无状态或线程安全的读取器和写入器，并且Spring批处理示例中有一个示例（parallelJob）显示了使用进程指示符（请参见第6.12节“防止状态持久性”）来跟踪数据库输入表中已处理的项。

spring batch github存储库上的parallelJob示例https://github.com/spring-projects/spring-batch/blob/master/spring-batch-samples/src/main/java/org/springframework/batch/sample/common/stagingItemReader.java

我对过程指示器模式有点困惑。我在哪里可以找到更多关于这种模式的详细信息？

Answer 1

如果您所关心的只是ItemReader实例将在作业调用中共享，那么您可以将ItemReader声明为一个步骤范围，并且每次调用都将获得一个新实例，这将消除线程问题。

但是要回答您关于过程指示符模式的直接问题，我不确定关于它的好文档本身在哪里。Spring批处理示例中有一个它的实现示例（并行作业使用它）。

它背后的思想是，您为将要处理的记录提供一个状态。在作业/步骤开始时，将这些记录标记为正在处理。当记录提交时，您将它们标记为已处理。这样就不需要在读取器中跟踪状态，因为您的状态实际上在数据库中（查询只查找标记为正在处理的记录）。