Spring批处理并行Tasklet

Question

我目前正在构建一个spring批处理应用程序，其中执行了几个步骤。除了一个，所有的步骤都是简单的tasklet（没有读取器或写入器），它们负责各种任务，如复制文件、发送请求、启动批处理(*.bat)文件等。

大多数步骤应该是串行执行的。在一个特定的步骤中，我希望启动X*.bat文件，这些文件最多可以有Y个实例。

null

如果1==true:)我想我必须使用taskExecutor，下面我有一个示例，在这里我开始第一步（假设必须找出X是多少），然后我有一个flowParallel（简单地说，如果有更多的批处理，请再次开始该步骤），然后我进行了一个拆分，以允许并行执行（目前只有3个步骤，当然我可以用一个限制“taskExecutor.setmaxpoolsize”的循环添加所有的X，我觉得这很愚蠢）

Flow flowInit = new  FlowBuilder<Flow>("flowInit")
            .from(stepS1)
            .end();


    Flow flowParallel = new  FlowBuilder<Flow>("flowParallel")
            .start(stepS1Parallel)
            .next(deciderOne)
            .on("thereAreMoreBatchesToExecute")
            .to(stepS1Parallel).end();


    final Flow splitFlow = new FlowBuilder<Flow>("splitFlow")
                    .start(flowParallel)
                    .split(new SimpleAsyncTaskExecutor())
                    .add(flowParallel, flowParallel, flowParallel)
                    .build();

    return jobs.get("dataLoadParallel")
            .start(flowInit)
            .next(splitFlow)
            .next(stepS1)
            .end().build();

那么，我做错了什么？我该走哪条路？

Answer 1

如果希望tu设置最大并发量，则必须使用SimpleAsyncTaskExecutor的setConcurrencyLimit方法。

如果希望几个步骤并行运行，则需要为每个步骤实例化唯一的步骤和唯一的流。在上面的示例中，在流（flowParallel）的同一个实例中并行地启动一个步骤(stepS1Parallel）的同一个实例。这意味着，一个步骤的同一个实例是用多个线程调用的，这肯定会把事情搞砸。

因此，您需要有一个循环，在这个循环中，为您想要处理的每个*.bat文件创建一个步骤的实例和一个流的实例。

HTH