记录被处理两次

Question

我们有一个spring批处理程序，它可以访问读卡器中的一组数据，对其进行处理和写入。这一切都是成批发生的。

我注意到，处理器和写入程序对同一数据进行了两次检查，一次作为批处理，一次作为单个记录。

例如：写入器读取1000条记录，向处理器发送1000条记录，向写入器发送1000条记录。

在此之后，记录再次被单独处理，但只调用处理器和写入器。

我们在所有读卡器、处理器和写入程序中都有日志语句，我可以看到日志。

是否有任何条件可以使记录在作为列表处理后单独处理？

    <batch:job id="feeder-job">
    <batch:step id="regular">
        <tasklet>
            <chunk reader="feeder-reader" processor="feeder-processor"
                writer="feeder-composite-writer" commit-interval="#{stepExecutionContext['query-fetch-size']}"
                skip-limit="1000000">
                <skippable-exception-classes>
                    <include class="java.lang.Exception" />
                    <exclude class="org.apache.solr.client.solrj.SolrServerException"/>
                    <exclude class="org.apache.solr.common.SolrException"/>
                    <exclude class="com.batch.feeder.record.RecordFinderException"/>
                </skippable-exception-classes>
            </chunk>
            <listeners>
                <listener ref="feeder-reader" />
            </listeners>
        </tasklet>
    </batch:step>
</batch:job>

Answer 1

在使用一个特性之前，你应该好好阅读它。这里你是正确的，只有在错误发生后才会进行两次处理。

基本上，您已经定义了一个区块/步骤，该区块/步骤对配置跳过逻辑的特定异常具有容错性

除非总异常计数保持在跳过限制以下，否则您的步骤不会失败，但如果出现错误，区块项目将被处理两次——一次接一次，第二次，并在第二次处理中跳过坏记录。