Spring批处理作业调度程序运行几次后停止执行

Question

在一个项目中，我们必须运行一个定期开始的作业（现在QA env上每5分钟开始一次），该作业处理40K用户的一些任务。我们决定使用Spring Batch，因为它非常适合，并且几乎用默认配置实现了它（例如，它使用SynctaskExecutor)。好的，有一个工作由一个步骤组成：

1. 开箱即用HibernatePagingItemReader
2. 在内存中执行轻量级计算的自定义ItemProcessor
3. 自定义ItemWriter，它通过多个JPQL和本机查询将数据保存到同一个PostgreSQL db。

作业本身是用@enablescheduling调度的，并且每5分钟由cron表达式触发一次：

@Scheduled(cron = "${job.assignment-rules}")
void processAssignments() {
  try {
    log.debug("Running assignment processing job");
    jobLauncher.run(assignmentProcessingJob, populateJobParameters());
  } catch (JobExecutionException e) {
    log.error("Job processing has failed", e);
  }
}

job:
  assignment-rules: "0 0/5  * * * *"

select ex.job_instance_id, ex.create_time, ex.start_time, ex.end_time, ex.status, ex.exit_code, ex.exit_message
from batch_job_execution ex inner join batch_job_instance bji on ex.job_instance_id = bji.job_instance_id
order by start_time desc, job_instance_id desc;

job:
  invitation-email: "0 0/10 * * * *"
  assignment-rules: "0 0/5  * * * *"
  rm-subordinates-count: "0 0/30 * * * *"

提前多谢

Answer 1

在您的用例中，使用默认的SynctaskExecutor来启动作业是不安全的，因为所有作业都将由一个线程执行。如果其中一个作业运行时间超过5分钟，则下一个作业将堆积如山，并在某个时刻无法启动。

我将在您的用例中用异步TaskExecutor实现（如org.springframework.scheduleing.concurrent.ThreadPoolTaskExecutor)配置JobLauncher。您可以在Configuring a JobLauncher一节中找到一个示例（请参见“图3.异步作业启动器序列”）。

除了配置为由Spring Batch的JobLauncher使用的任务执行器之外，还需要确保Spring Boot使用了正确的任务执行器来调度任务（因为您使用的是@enableScheduling)。有关更多细节，请参阅任务执行和调度部分。