Spring批处理：容错

Question

我有以下步骤：

    return stepBuilderFactory.get("billStep")
            .allowStartIfComplete(true)
            .chunk(20000)
            .reader(billReader)
            .processor(billProcessor)
            .faultTolerant()
            .skipLimit(Integer.MAX_VALUE)
            .skip(BillSkipException.class)
            .listener(billReaderListener)
            .listener(billSkipListener)
            .writer(billRepoItemWriter)
            .build();

Answer 1

在添加调试日志时，我注意到当处理器中抛出异常时，项/行会被“重新处理”。（可能是因为容错配置。但是，如果我正在处理200万条记录，而其中30万条记录被跳过了--或者抛出了跳过异常--如果其中一些记录被“重新处理”，这不是一个性能问题吗？）

我出现了同样的问题，并使用processornontransactional方法进行了修复。

    @Bean
    public Step myStep() {
        return stepBuilderFactory.get("myStep")
                .<MyObject, MyObject>chunk(1000)
                .reader(myItemReader())
                .processor(myItemProcessor())
                .writer(jdbcBatchItemWriter())
                .faultTolerant()
                .processorNonTransactional()
                .skip(MyException.class)
                .skipLimit(200)
                .build();
    }