在Spring批处理中启动一个新作业实例，并将上次处理的记录作为jobParameter？

Question

我们正在进行Spring批量工作。该作业将每天运行约6小时，并将从REST服务中获取与每条记录对应的一些值。一旦从REST服务中检索到该值，就会为相应的记录更新该值。例如。

--------------------
   Student
--------------------
Id | Name | Marks
--------------------
1  | John | Null
2  | Sam  | Null
3  | Lilly| Null

迭代每个记录（ASCorder），并根据Id从REST服务中获取标记。使用检索到的标记更新列标记。REST服务不支持批处理操作，一次只能处理一条记录。

建议的解决方案：

1. 使用RepositoryItemReader以ASC顺序使用固定页面大小从html" target="_blank">数据库读取数据。由于默认情况下没有ID范围，作业将永远继续运行（每天约6小时后停止）

需要解决的问题：

有两个问题：

1.需要知道从那里恢复的最后处理记录（我们想每天创建一个新的工作实例）。为了每天运行作业，我们可以对作业进行基准测试，并估计它每天将处理的记录数。基于此，我们可以在静态表中定义Id范围，以便作业从表中读取范围并处理范围内的记录。这个解决方案不是很优雅。另一种方法是将最后一次获取（未读取）的数据存储在跟踪表中，并将其用作第二天的下限。我不知道怎样才能优雅地做到这一点。

2.在单线程顺序模式下提高作业的性能，性能不是很好。它只能处理1条记录/2秒（0.5条记录/秒）。我使用了线程池大小约为10的ThreadPoolTaskExecutor，能够实现每秒4条记录的性能（这对我们来说非常理想）。

Answer 1

因为我们也使用ThreadPoolTaskExecutor，所以要知道最后处理的记录并不容易。

订购与多线程不兼容。如果平行排列，“First”和“Last”是未定义的。您需要找到一种方法，以一种与串行或并行执行不可知的方式标记记录。我强烈建议在引入多线程之前，首先找到问题的正确解决方案：正确性比性能更重要。

我们希望每天运行一个新的作业实例。

这意味着当前日期是识别作业参数的良好候选者。