使用JdbcCursorItemReader进行动态SQL查询

Question

我正在为spring批处理使用java配置（spring boot）。我有一个员工Id列表，对于每个Id，我需要运行一个查询（如下所示），然后处理数据。

select * from history where employee_id = ?

我知道我们可以使用阅读器。setPreparedStatementSetter动态设置上述SQL中的参数。但是，我不确定如何对列表中的每个员工id重复批处理过程。即使我将reader（）标记为@StepScope，也只会调用一次reader。（即），批次仅运行一次。非常感谢您的帮助。

    List employeeIds = new ArrayList();
    employeeIds.add(1);
    employeeIds.add(2);

    @Bean
    @StepScope
    public ItemReader<History> reader() {
        JdbcCursorItemReader<History> databaseReader = new JdbcCursorItemReader<>();
        databaseReader.setSql("select * from history where employee_id = ?");
        databaseReader.setPreparedStatementSetter(..);
        ....

        return databaseReader;
    }


    @Bean
    public Step step(StepBuilder stepBuilder){
        return stepBuilderFactory.get("sample").
                .reader(reader())
                .processor(processor())
                .writer(writer())
                .build();
    }

Answer 1

所以首先，我不建议你这样做。从理论上讲，而且在实践中几乎总是这样，每次打开一个游标比单独查询要高效得多。

“更好的”方法是将ID列表插入到暂存/驱动表中（通常在前面的步骤中，每当您从原始源获得ID列表时），然后将查询更改为类似以下内容：

select * from history where employee_id in (select id from driving_table)

或者，您至少可以将查询更改为：

select * from history where employee_id in ( ? ) 

并将ID列表传递给它（这里要小心，因为有些数据库限制查询中的参数）。如果您的列表可能超过该限制，则需要打开一个新的光标，有效地对列表分页。