Spring批处理-结合远程分区和远程分块

Question

试着看看我是否能设计一个既需要分区又需要远程分块的工作。我们可以有类似于表A的东西来保存行（表A中的一列将是分区键），对于表A中的每一行，我们将有表B，其中包含表A中给定外部/分区键的许多子记录。我们需要运行一个查询，根据查询过滤表a中的分区键，并为每个分区键处理表B中的所有子记录（这里我们在表B中也会有数百万条记录，因此我们需要并行处理记录，从而实现远程分块）

对于这样的事情，什么是正确的思考spring batch作业设计的方法？在此处输入图像描述

Answer 1

因此，我们需要并行处理记录，从而实现远程分块

不一定。没有什么能阻止您在分区步骤的工作人员中使用远程分块，但我认为这会使事情复杂化。

一种更简单的方法是使用多个作业。每个作业将处理不同的分区，并使用多线程步骤并行处理项目。换句话说，分区键在这里是一个作业参数。这种方法有以下优点：

>

更容易扩展：因为您在两个级别上具有并行性：

• 使用多个JVM并行运行多个作业（在同一台机器上或在不同的机器上）
• 并且在每个JVM中，使用多个线程并行处理项目。

更容易实现：远程分区和分块不是最容易配置的设置。运行多个作业，其中每个作业都从TableA中读取select*，其中分区键 = ? 项并使用多线程步骤（它需要一行代码，添加任务执行器. taskExecitor（taskExecitor））要容易得多。