异步Spring批处理。用2个步骤创建工单

Question

我需要多次调用webservice并传递使用来自多个表的数据创建的数据

UI->控制器->服务->（获取数据（表1,表2）并运行一些验证）1。如果验证失败-返回错误消息并停止。2.如果验证通过-调用JobLauncher并返回“任务启动”消息。

在异步作业中，我想到遵循2个步骤。

>

bulkinsertstep

>

我需要调用DB查询2个更多的表(Table3、table4)并创建一个大的数据集，从以前提取的Table1、Table2和当前提取的Table3、table4

将创建的数据集插入表5

• 阅读器：从表5查询
• 处理器：为每一行调用Webservice。
• 编写器：更新表5

我不知道BulkInsertStep是否有资格成为BatchJob中步骤。基本上，它是一个for loop in for loop in for loop来创建DTO对象列表。读写器、处理器或写器的功能并不复杂…

避免BulkInsertStep可以避免bulk insert和WebServiceStep中的读取，但是如果以后用户想重新运行失败的webservice记录，那么就很难确定哪些排列已经被处理，哪些排列需要被处理。

请建议一种设计或另一种方法来实现同样的事情。要求：

1. 对大数据的WebService调用需要一些时间。因此UI无法等待响应。
2. 用户可以重新运行处理失败任务的任务。

Answer 1

我不知道BulkInsertStep是否有资格成为BatchJob中步骤。

我认为您肯定需要将其作为reader-processor-writer。虽然写起来有点复杂，但它会给你带来诸如可重启性和容错性等能力。我之前也在想，reader-processor-writer是一种矫枉过正的做法，但它最终也导致了更好的结构化和可维护的代码。

避免BulkInsertStep可以避免bulk insert和WebServiceStep中的读取，但是如果以后用户想重新运行失败的webservice记录，那么就很难确定哪些排列已经被处理，哪些排列需要被处理。

我以前也做过类似的事。在这里，我建议在每次调用WebService后，将结果存储在数据库中。这就是table的样子：

- requestId 
- requestURL
- method (GET/POST/PUT/etc.) 
- requestBody (CLOB)
- requestHeaders 
- responseCode 
- responseBody (CLOB)
- responseHeaders

有了这个表，我可以确定不会有重复的WebService调用。如果批处理作业失败，我可以在此步骤中简单地重新启动作业，并从未完成的调用开始继续处理。

为此，您将需要额外的步骤将数据转换为请求（准备它们），然后再次使用Reader-Processor-Writer执行WebService调用。

对大数据的Webservice调用需要一些时间。因此UI无法等待响应。

我想你会在单独的线程中开始整个工作。您需要将作业启动程序配置为使用ThreadPoolTaskExecutor。则作业将异步运行。

用户可以重新运行任务，它处理失败的任务。

这是简单实现的。您有两种选择：

• 通过使用joboperator执行失败的作业。这里需要失败作业的ID。
• 通过使用相同的标识参数启动作业。这是你需要预先考虑的。什么是唯一标识你的工作的参数？这里我推荐阅读官方文档:https://docs.spring.io/spring-batch/trunk/reference/html/domain.html#domainjobparameters