Spring批处理-在多线程步骤中读一条记录写多条记录

Question

我的计划是

1. 使用多线程步骤，以便每个线程读取一条记录-在处理器中生成多条记录-将生成的记录写入单独的excel文件。
2. 使用同步读取器从进程表中读取。
3. 在处理器中，使用读取器中返回的记录查询DB（涉及多个联接）并形成一个复合对象。
4. 用自定义编写器将复合对象写入文件

就内存管理而言，上面的方法听起来不太好。
因为要写入的记录是在处理器中生成的（而不是从读取器那里获得的，读取器只是给出记录ID)，所以只有在所有处理完成后，我才能提交。
如果是多个线程，那么在写入之前，内存中会有太多这样的大对象。

Answer 1

您可以基于process_id使用Partitioner（首先获取所有唯一的进程，并在您的自定义分区器中），并在reader中激发mutliple查询（尽管大多数DBA不同意这一点，并且可能会在db中使用tempspace）

这里是一个原型

<batch:step id="step1.slave">
    <batch:tasklet>
        <batch:chunk reader="jdbcCursorItemReader" writer="csvItemWriter" commit-interval="${app.max_number_of_rows}">
        </batch:chunk>
    </batch:tasklet>
</batch:step>

<bean id="jdbcCursorItemReader"
        class="org.springframework.batch.item.database.JdbcCursorItemReader">
        <property name="dataSource" ref="dataSource" />
        <property name="sql">
            <value>
                select *
                from blah blah
                where process_id=?
            </value>
        </property>
        <property name="preparedStatementSetter" ref="myPsSetter" />
</bean>

<bean id="myPsSetter" class="com.kp.swasthik.ps.BeamBalancePsSetter"
        scope="step">
        <property name="processId" value="#{stepExecutionContext['processId']}"></property>
</bean>

以及如何编写自定义分区器请参阅以下链接