Spring batch：在分区步骤中遇到传播异常（停止作业执行）

Question

背景

问题所在

如果在读取任何物理分区时出现任何问题，则该从步骤的执行将失败，异常将由spring Batch记录下来。这不会影响读取文件不同物理分区的其余从步骤的执行；然而，这并不是人们想要的行为。我想要的是，如果在读取特定物理分区时出现问题（例如：无法解析特定列），则应该将异常传播到作业启动的位置，以便停止任何进一步的处理。

AbstractStep中execute方法的当前实现捕获Throwable并通过记录异常来抑制异常。因此，异常不会传播到作业启动的位置，并且无法停止其余从步骤的执行。

如何使spring-batch将从步骤中发生的任何异常传播到启动作业的位置？我希望这样做，以便在处理任何分区文件时出现问题时，可以停止任何进一步的处理。

Answer 1

如果在读取任何物理分区时出现任何问题，则该从步骤的执行将失败，异常将由spring Batch记录下来。这不会影响读取文件不同物理分区的其余从步骤的执行；然而，这并不是人们想要的行为。

我认为，“这不会影响剩余从步骤的执行”这一事实是期望的行为。通常，将一大块工作划分为并行执行的较小任务背后的思想是，任务应该相互独立，一个失败不应该影响其他失败。如果存在要求一个任务失败才能停止其他任务的逻辑，这意味着任务没有被很好地定义为独立的，在本地/远程分区步骤中执行它们首先不是合适的选择。

我想要的是，如果在读取特定物理分区时出现问题（例如：无法解析特定列），则应将异常传播到启动作业的位置，以便停止任何进一步的处理。

为此需要自定义PartitionHandler。这是协调工人步骤的部分。默认行为是等待所有员工步骤完成并汇总结果，然后向主作业报告。您的自定义实现应该检测到任何辅助步骤的失败，并通知其他步骤停止。

而且，这种如果其中一个工人失败就停止/失败所有工人的设计不适用于作业重启。这意味着重新启动作业将重新启动所有分区，这并不是分区作业的首要目标，因为只有失败的分区才应该重新启动。