Spring Batch“使用ItemStream阅读器检测到异步TaskExector”

Question

首先，这个问题似乎正是我们想要做的：在SpringBatch中并行执行ItemStreamReader

Spring批次3.0.10，在Java EE服务器（WebSphere，Java 8，Java EE 6）下运行。我也不是这个代码的原始作者。

在XML配置中，我们有一个批处理步骤，从文件中读取一行，处理该行（我们要多线程的部分），并将记录写入数据库：

    <batch:step id="processRenewalsStep" next="saveResponseFileStep">
        <batch:tasklet task-executor="taskExecutor" throttle-limit="4">
            <batch:chunk
                reader="batchRenewalCsvFileItemReader"
                writer="asyncBatchRenewalDb2ItemWriter"
                processor="asyncBatchRenewalProcessor"
                commit-interval="1"
                skip-limit="10">
                <batch:skippable-exception-classes>
                    <batch:include class="java.lang.Exception"/>
                </batch:skippable-exception-classes>
                <batch:listeners>
                    <batch:listener ref="batchSkipListener"/>
                </batch:listeners>
            </batch:chunk>
        </batch:tasklet>
    </batch:step>

即使在接受答案中遵循了建议的aynchronous包装之后：

<bean id="asyncBatchRenewalProcessor" class="org.springframework.batch.integration.async.AsyncItemProcessor"
      p:taskExecutor-ref="taskExecutor"
      p:delegate-ref="batchRenewalProcessor"/>

<bean id="asyncBatchRenewalDb2ItemWriter" class="org.springframework.batch.integration.async.AsyncItemWriter"
      p:delegate-ref="batchRenewalDb2ItemWriter"/>

我们的启动日志仍然包含：

22:25:25，252(默认值:3)WARN org . spring framework . batch . core . step . builder . faulttolerantstepbuilder:用ItemStream读取器检测到异步TaskExecutor。这可能是一个错误，并可能导致存储不正确的重启数据。

和

22:34:03755（WorkManager.DefaultWorkManager:0）警告org.springframework.batch.core.step.item。ChunkMonitor：没有设置ItemReader（必须是并发步骤），因此忽略偏移量数据。

以及以下几个实例：

22:34:03，880(工作经理。DefaultWorkManager:2)WARN org . spring framework . batch . core . step . item . chunk monitor:item stream已在不同的线程中打开。重启数据可能会受损。

我认为这是有意义的，因为我们包装了处理器和写入器，但没有类包装读取器？

运行我的作业，日志记录确实表明正在使用来自容器执行器的不同线程，但我在使用异步包装器之前没有尝试过，所以即使没有它，它也可能“工作”？

那么有什么方法可以防止这些警告，以及它们所警告的情况呢？

更新：基于文档中的这一点：

如果读卡器不是线程安全的，在您自己的同步委托器中使用它可能仍然是有效的。您可以同步对read（）的调用，只要处理和写入是块中最昂贵的部分，您的步骤可能仍然比单线程配置快得多。

我已经尝试创建一个FlatFileItemReader子类，它会同步自己的read（）方法，该方法调用底层的read（）方法，但我仍然收到WARN日志记录。我不知道是我误解了这个建议，还是我现在做的是安全的，但不能被检测到是安全的，所以它仍然在记录。

Answer 1

FlatFileItemReader不是线程安全的，因为它扩展了抽象ItemCountingItemStreamItemReader，这不是线程安全的。因此，在多线程步骤中使用它是不正确的（否则执行上下文数据可能会被并发线程损坏，因此会出现警告）。

为了避免任何并发性问题，您可以尝试对文件进行分区(物理地或逻辑地)，并让每个线程在不同的分区上工作。