Spring批处理Itemreader将同一对象传递给Itemprocessor两次

Question

我有带隔板的Spring批。gridSize是10，因此它将生成10个线程。一切都是默认的Bean单例。TaskExeutor最多有15个核心池10个。

@Bean
@StepScope
public RepositoryItemReader<CustomObject> reader(${executorContext[from]} from, ${executorContext[to], ${executorContext[partitonId]) {
    LOG.info("Partition ID: {} will process row from: {}  to: {}", partitionId, from, to);
    //here has the right output, say 1 to 10, 10 to 20, include from, exclude to
    RepositoryItemReader reader = new RepositoryItemReader();
    reader.setRepository(objectRepo);
    reader.setMethod("findByProcessedFromAndTo");
    //from here I pass in from and to to do the partition
    //omit sorts, pageSize,  params
    reader.setSaveState(false);
    return reader;
}

这是读卡器，这个读卡器将返回数据库中的4行。自定义对象1到4。

@Bean
public class processor implements ItemProcessor() {
   @override
   public Object process(customObject) {
       logger.info(customObject.getId());
       //logic
   }
}

@Bean
Step processStep(){
    //chunk 1
    //item reader
    //item processor
    //item writer
    //build
}

Step partitionStep {
    //partion with gridSize 10,
    //processStep
    //taskExecutor
}

Partition  {
    int start = 1;
    int range = totalCount/gridSize + 1;
    for(i to gridSize){
        ExecutionContext context = New ExecutionContext();
       context.put("from",start);
       context.put("to", start*range);
       start += range;
       context.put("partitionId", i); 
       map.put(PARTITION_KEY, context);      
    }
    return map;
}

示例查询：

select * from Table where rownum >=:from and rownum < :to;

设置非常简单。只是一个批处理过程，分区网格大小为10。

当我运行它时，Item reader会得到4条正确的记录。但当读卡器将数据传递给项目处理器时，我得到了这样的日志，我在编数字。

Thread 2 processing Object Id: 11 //row 10 to 20
Thread 1 processing Object Id: 1 //row  1 to 10
Thread 4 processing Object Id: 31 //row  30 to 40
Thread 6 processing Object Id: 51 //row  50 to 60

因为我实现分区并在查询中执行分区。现在所有线程都应该处理分区集，不应该处理重复的记录，但我仍然有同样的问题，一些线程将处理重复的记录。

Thread 9 processing Object ID:2
Thread 3 processing Object ID:4
and so on

当整个工作完成时，数据库中会有未处理的记录。

我错过了什么，需要帮助吗。

Answer 1

预期的行为是ItemReader应该只将这4个数据传递给4个线程

这是多线程步骤所期望的，而不是分区步骤。

对于分区步骤，设置网格大小是不够的。您需要使用分区器预先定义分区，并将其设置在主步骤上，以便每个工作步骤处理一个分区。如果不指定分区器，Spring Batch无法知道如何对项目进行分区，并且您的读卡器将用于所有（未定义的）分区，多次读取整个数据集。