Spring批处理：重新运行作业后重复行

Question

我们的Spring Batch应用程序在重新启动失败的作业时，再次处理相同的记录，导致重复的行，我们希望了解如何避免这种情况。

启动批处理作业的Spring集成轮询器配置为每两个小时运行一次。第二次运行时，作业参数将相同，但如果上一次运行失败（例如，由于数据截断异常），Spring Batch不会抱怨作业已完成。

在故障点，几十万条记录已经被处理并从源表复制到目标表。在以后运行作业时，相同的行将复制到目标表中，从而产生重复的行。因此，作业似乎没有恢复，而是从头开始重新启动。

Spring Batch数据库是Derby（基于文件），这是应用程序启动时的设置，在实际应用程序的重新启动之间，状态似乎没有得到维护（因为作业可以使用相同的参数再次运行）。但是，在一个应用程序运行中，状态被保持。例如，如果作业成功完成，轮询器下次运行时将引发异常，因为作业（带有这些参数）已经完成。

我们的工作定义如下：

<batch:job id="publisherJob" >
   <batch:step id="step1">
      <batch:tasklet >
    <batch:chunk reader="itemReader" processor="itemProcessor"
              writer="itemWriter" commit-interval="${...}" />
        </batch:tasklet>

        <batch:listeners>
        ...
        </batch:listeners>
</batch:job>

<bean id="itemReader" class="org.springframework.batch.item.database.JdbcCursorItemReader">
   <property name="dataSource" ref="dataSource" />
   <property name="sql" value="select ${...} from ${...} where ${...}" />
   <property name="rowMapper" ref="rowMapper" />
</bean>

WHERE子句包括订货人。

我们的理解是Spring Batch将保留处理失败的状态，并从该点开始（如果源表中的错误已被修复），从而防止重复行。要发生这种情况需要配置什么？

谢谢

Answer 1

SpringBatch维护的状态是，它会记住处理了多少条记录，而不是具体记住了哪些记录。因此，由您来保证项目的顺序在不同的运行中是可重复的，因此，如果我们在运行1中处理100条记录但失败，那么当我们在运行2中跳过前100条记录时，这些记录就是要跳过的正确的100条记录。您没有为JdbcCursorItemReader提供配置，但我假设您在SQL中没有使用order by。如果您想要可重启性，您需要某种方法来保证项目的顺序。在SQL中使用ORDERBY是实现这一点的最简单方法（如果需要的话，还可以使用流程指示符模式）。