如何在运行时创建和启动spring批处理作业

Question

我们需要执行从一个数据库到其他数据库的数据移动，并为此探索spring batch。我们应用程序的用户选择源数据源和目标数据源，以及需要为其移动数据的表列表。

在以下方面需要帮助：

1. 构建作业所需的信息在运行时来自我们的web应用程序-包括数据源详细信息和表名列表。我们希望通过将这些详细信息发送到job builder模块来创建一个新作业，并使用JobLauncher启动它。我们如何编写这个job builder模块？
2. 我们可能有多个用户并行地提出数据移动请求，因此需要一种方法来创建多个作业并以适当的顺序运行它们。

@Bean
public Job loadDataJob(JobCompletionNotificationListener listener) {
    RunIdIncrementer inc = new RunIdIncrementer();
    inc.setKey(new Date().toString());
    JobBuilder builder = jobBuilderFactory.get("loadDataJob")
            .incrementer(inc)
            .listener(listener);
    SimpleJobBuilder simpleBuilder = builder.start(preExecute());
    for(String s : getTables()){
        simpleBuilder.next(etlTable(s));
    }
    simpleBuilder.next(postExecute());
    return simpleBuilder.build();
}

@Bean
@Scope("prototype")
public Step etlTable(String tableName) {
    return stepBuilderFactory.get(tableName)
            .<Map<String,Object>, Map<String,Object>> chunk(1000)
            .reader(dbDataReader(tableName))
            .processor(processor())
            .writer(dbDataWriter(tableName))
            .build();
}

启动作业的RestController

    @RestController
public class MyController {
    @Autowired
    JobLauncher jobLauncher;

    @Autowired
    Job job;

    @RequestMapping("/launchjob")
    public String handle() throws Exception {
        try {
            JobParameters jobParameters = new JobParametersBuilder().addLong("time", new Date().getTime()).toJobParameters();
            jobLauncher.run(job, jobParameters);
        } catch (Exception e) {

        }

        return "Done";
    }
}

Answer 1

关于第一个问题，您必须使用JavaConfiguration。此外，如果希望创建具有动态步骤数的作业（例如，每个表必须复制一个步骤），则不应该将步骤定义为spring bean。

我已经写了几个关于如何动态创造就业机会的问题的答案。看看它们，它们可能会有帮助

• Spring批处理在tasklet中执行动态生成的步骤
• Spring批处理重复步骤以永不结束的循环结束
• Spring Batch--如何基于在前一步中创建的params生成并行步骤
• Spring批处理循环读取器/处理器/写入器步骤

关于你的第二个问题，编辑了
一些评论：

@Component
@EnableBatchProcessing
@Import() // list with imports as neede
public class JobCreatorComponent {

  @Autowire
  private StepBuilderFactory stepBuilder;

  @Autowire
  private JobBuilderFactory jobBuilder;

  public Job createJob(all the parameters you need) {
     return jobBuilder.get(). ....
  }
}

@RestController
@Import(JobCreatorComponent.class)
public class MyController {
    @Autowired
    JobLauncher jobLauncher;

    @Autowired
    JobCreatorComponent jobCreator;

    @RequestMapping("/launchjob")
    public String handle() throws Exception {
        try {
            Job job = jobCreator.createJob(... params ...);
            JobParameters jobParameters = new JobParametersBuilder().addLong("time", new Date().getTime()).toJobParameters();
            jobLauncher.run(job, jobParameters);
        } catch (Exception e) {

        }

        return "Done";
    }
}