Spring批量读取csv，并使用跳过/异常策略将数据转储到表中

Question

我们正在使用Spring Batch从CSV文件中读取记录并插入到数据库表中。

数据源和事务管理器

<!-- connect to database -->
    <bean id="dataSource"
        class="org.springframework.jdbc.datasource.DriverManagerDataSource">
        <property name="driverClassName" value="oracle.jdbc.OracleDriver" />
        <property name="url" value="**********" />
        <property name="username" value="**********" />
        <property name="password" value="**********" />
    </bean>

    <bean id="transactionManagerTest"
        class="org.springframework.batch.support.transaction.ResourcelessTransactionManager" />

作业配置

<!-- stored job-meta in database -->
    <bean id="jobRepository"
        class="org.springframework.batch.core.repository.support.JobRepositoryFactoryBean">
        <property name="dataSource" ref="dataSource" />
        <property name="transactionManager" ref="transactionManagerTest"  />
        <property name="databaseType" value="Oracle" />
    </bean>


<bean id="jobLauncher"
        class="org.springframework.batch.core.launch.support.SimpleJobLauncher">
        <property name="jobRepository" ref="jobRepository" />
        <property name="taskExecutor"> 
        <bean class="org.springframework.core.task.SimpleAsyncTaskExecutor" />
          </property> 
    </bean>

下面是Spring批处理作业配置

<batch:job id="reportJob">
        <batch:step id="step1" >
            <batch:tasklet transaction-manager="transactionManagerTest" >
                <batch:chunk reader="cvsFileItemReader" writer="mysqlItemWriter" commit-interval="5" skip-limit="1000" processor-transactional="true">

                    <!-- 
                     <batch:skip-policy>
                        <bean class="org.springframework.batch.core.step.skip.AlwaysSkipItemSkipPolicy" scope="step"/>
                    </batch:skip-policy> -->
                    <batch:skippable-exception-classes>
                        <batch:include class="java.lang.Exception" />
                    </batch:skippable-exception-classes>
                    <!-- <batch:retry-policy>
                        <bean class="org.springframework.retry.policy.NeverRetryPolicy" scope="step"/>
                    </batch:retry-policy> -->
                    <batch:listeners>
                         <batch:listener ref="itemWriterListner"/>
                    </batch:listeners>
                </batch:chunk>
            </batch:tasklet>
        </batch:step>
    </batch:job>

这里我们定义了批处理：skippable-outtion-class，如果任何记录插入语句失败，应该使用它来处理。

举个例子，我们在 csv 文件中有 10 条记录，我们正在逐条读取并在 5 上插入到卡盘中的数据库表中，但在两者之间，比如说第 4 条记录插入失败，它应该继续第 5 条记录，并且应该只跳过第 4 条记录。

但是对于 batch：skippable-exception-classes，如果第 4 条记录失败，它将再次从第 1 条记录继续。所以在数据库表中我们有 1-3 条记录 2 次（重复记录）

请建议，如果我缺少Spring批次的任何配置属性。

Answer 1

这是在写入阶段发生异常时的标准行为。< br >

项目（从1到5）逐个写入，但作为单个块提交，如果发生错误，SB无法检测应跳过哪个项目，因此，SB如何决定应跳过哪些项目

SB再次开始写入阶段，但逐个写入项目（如设置提交间隔="1"）以检测坏项目并将其发送到SkipListener.skipInWrite（item，异常）。

使用选择/更新策略而不是简单的插入来写。

Answer 2

我认为，这项工作仍在进行中。请参阅此 JIRA 问题和此问题。它已经讨论了很长一段时间：Spring论坛帖子 1 和帖子 2。也许对两个JIRA问题进行一些额外的投票会使它们更加重要，更有可能被添加。

Answer 3

您配置事务管理器的方式有问题（未包含在上面的配置中）。虽然 bellabax 是正确的，因为当正在写入的项目引发异常时，整个块都会回滚，并且每个项目都会被单独处理/写入以确定块中的哪个项目导致了错误，但关键点似乎不适合你实际回滚。

UPDATEResourcelessTransactionManager不是真正的事务管理器，不适用于事务资源（如数据库）。用真正的事务管理器配置你的工作，你会没事的。