全步跳伞

Question

我有Spring批处理作业，在那里我需要传递作为输入到作业的id的列表，我希望从该列表的id能够传递到一个步骤，可以并行运行所有这些。至于现在，我所完成的是在一个线程池执行器中运行多个作业实例，它执行作业的时间x。这意味着它对所有作业进行单个查询。我们谈论的是超过5000万条记录。这些记录代表了特定日期的时间序列。我需要一个id和batchId按月汇总，并将此信息发送给经纪人。

• 读者-

你能给我提供什么最佳实践吗？

根据建议，这就是我的分区器的样子；

@Override
public Map<String, ExecutionContext> partition(int gridSize) {
    log.debug("START: Partition");

    Map<String, ExecutionContext> partitionMap = new HashMap<>();
    final AtomicInteger counter = new AtomicInteger(0);
    final AtomicInteger partitionerCounter = new AtomicInteger(0);
    Page<Integer> result = null;
    do {
        result = repository.findDistinctByBatchId(LocalDateTime.parse(batchId, AipForecastService.DEFAULT_DATE_TIME_FORMATTER), Optional.ofNullable(result)
                .map(Page::nextPageable)
                .orElse(PageRequest.of(0, 100000)));
        result
                .stream()
                .collect(Collectors.groupingBy(it -> counter.getAndIncrement() / 100))
                .values()
                .forEach(listOfInstallation -> {
                    ExecutionContext context = new ExecutionContext();
                    context.put("listOfInstallation", listOfInstallation);
                    partitionMap.put("partition" + partitionerCounter.incrementAndGet(), context);
                    log.debug("Adding to the partition map {}, listOfInstallation {}", partitionerCounter.get(), listOfInstallation);
                });
    } while (result.hasNext());

    log.debug("END: Created Partitions for installation job of size:{}", partitionMap.size());
    return partitionMap;
}

Answer 1

我需要传递作为一个输入的工作列表的id的我希望从该列表的id的能够传递到一个步骤可以运行所有的并行

您可以对该列表进行分区，并使用分区步骤并行处理分区。

你能给我提供什么最佳实践吗？

如果您选择分区步骤路由（在我看来适合您的用例），我建议不要为每个id创建分区（除非您有合理数量的ID）。例如，您可以为每个ID范围创建一个分区，并让每个工作步骤执行您描述的读/处理/写逻辑，这绝对可以并行完成。

希望这能有所帮助。