spring批处理分区性能问题

Question

我们有一个spring批处理作业，我们试图处理大约1000万条记录。现在，在单线程中执行此操作将非常慢，因为我们必须匹配SLA。

为了提高性能，我们开发了一个POC，其中主步骤是创建分区，每个分区代表一个唯一的prod ID。这可以从500到4500之间的任何地方。在POC中，我们有500个这样唯一的产品ID。现在，每个分区都有一个prod id和一个步骤。所有这一切都很顺利。

我们注意到的是主步骤将分区信息发送到步骤执行请求需要5min以上的时间。我的意思是，在生成分区的主步骤和为第一个分区执行的步骤之间有超过5分钟的差异。

是什么导致了这种缓慢？spring批处理框架在这5分钟内做了什么？

SELECT JOB_EXECUTION_ID, START_TIME, END_TIME, STATUS, EXIT_CODE, EXIT_MESSAGE, CREATE_TIME, LAST_UPDATED, VERSION, JOB_CONFIGURATION_LOCATION from BATCH_JOB_EXECUTION where JOB_INSTANCE_ID = ? order by JOB_EXECUTION_ID desc;

选择JOB_EXECUTION_ID、KEY_NAME、TYPE_CD、STRING_VAL、DATE_VAL、LONG_VAL、DOUBLE_VAL，标识来自BATCH_JOB_EXECUTION_PARAMS，其中JOB_EXECUTION_ID=？；从batch_step_execution_id,STEP_NAME,START_TIME,END_TIME,STATUS,COMMIT_COUNT,READ_COUNT,FILTER_COUNT,WRITE_COUNT,EXIT_CODE,EXIT_MESSAGE,READ_SKIP_COUNT,WRITE_SKIP_COUNT,PROCESS_SKIP_COUNT,ROLLBACK_COUNT,LAST_UPDATED,VERSION,其中JOB_EXECUTION_ID=？按step_execution_id排序；

Answer 1

看看作业存储库的配置。一旦分区器为每个从步骤创建了executioncontexts，主程序就会在将每个步骤发送给要处理的从步骤之前为每个步骤创建一个stepexecution。因此，延迟可能是由于将所有stepexecution插入到作业存储库中。作为后续行动，请确保您使用的是最新版本。不久前对此进行了优化（批量插入执行，而不是一个接一个地执行）。