我试图在Spring Batch中使用单个作业并行执行多个步骤。下面是我的配置。
<job id="gmegdc1" xmlns="http://www.springframework.org/schema/batch" >
<split id="splitStep" task-executor="taskExecutor">
<flow>
<step id="step1" parent="simpleStep1">
<tasklet ref="gdcTasklet1" task-executor="taskExecutor1" throttle-limit="6" />
</step>
</flow>
<flow>
<step id="step2" parent="simpleStep2">
<tasklet ref="gdcTasklet2" task-executor="taskExecutor2" throttle-limit="6" />
</step>
</flow>
<flow>
<step id="step3" parent="simpleStep3">
<tasklet ref="gdcTasklet3" task-executor="taskExecutor3" throttle-limit="6" />
</step>
</flow>
<flow>
<step id="step4" parent="simpleStep4">
<tasklet ref="gdcTasklet4" task-executor="taskExecutor4" throttle-limit="6" />
</step>
</flow>
</split>
</job>
<bean id="taskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
<property name="corePoolSize" value="25" />
<property name="maxPoolSize" value="25" />
</bean>
<bean id="taskExecutor1" class="org.springframework.core.task.SimpleAsyncTaskExecutor"/>
<bean id="taskExecutor2" class="org.springframework.core.task.SimpleAsyncTaskExecutor"/>
<bean id="taskExecutor3" class="org.springframework.core.task.SimpleAsyncTaskExecutor"/>
<bean id="taskExecutor4" class="org.springframework.core.task.SimpleAsyncTaskExecutor"/>
我想为每一步运行6个线程。使用这种配置,每次我启动作业时,一次只有8个线程在不同的步骤组合中运行。由于这一点,一些步骤没有得到执行,我也得到了所有线程运行的潜力。不确定这里出了什么问题。
可能来不及回答。但可能会帮助其他有同样问题的人。
如果您已经将spring batch admin项目与spring batch应用程序集成,那么正是该admin将线程数量限制在8个。我删除了spring batch管理依赖项,并将spring batch作为一个简单的spring web应用程序,现在线程数跨越了8,达到了MaxPoolSize。
另一件要提到的事情是看一下tasklet标记中的节流限制配置。
Spring批处理-需要帮助以并行和多个节点运行批处理作业的独立步骤。一个spring批处理作业(JobA),包含三个步骤[步骤A(在compute1中)和步骤B(在compute2中)以及步骤C] StepA和StepB是独立的步骤,占用大量内存,因此不能在同一计算节点/JVM上并行运行。要使StepC同时启动(StepA和StepB),需要成功完成。我不想为了节省时间而依次执行步骤A和步骤B。
问题内容: 我想在Django中创建一个多步骤表单,该表单仅在所有步骤结束时提交要处理的数据。每个步骤都必须能够访问和显示我们在先前步骤中输入的数据。 有没有办法用Django做到这一点?Django的Form-Wizard无法处理此基本功能。 问题答案: 当然,在Django中有一种方法可以做到这一点。 一种方法是保持会话中的值,直到最后提交它们。如果返回上一步,则可以使用会话中保留的值填充表单
我有一份由不同的工作组成的工作。我希望在其他作业步骤完成后,一起触发一批这些作业步骤(JobStep1、JobStep2、JobStep3)(在不同的线程中与AsyncTaskExecutor一起运行)和最后一个作业步骤(JobStep4)。因此,我为每个JobStep创建了不同的流,并用AsyncTaskExecutor将它们放在一个流中。我还为最后一个JobStep做了一个单独的流。 完成工作
我正在做一个Spring批处理工作,它包含几个步骤(超过10个)。 谢谢你的回答。
我正在尝试修复Spring Batch中的一个问题,这个问题最近一直困扰着我们的系统。我们有一份工作,在大多数情况下都很好。下载和处理数据是一个多步骤的工作。 问题是有时工作会爆棚。也许我们试图连接到的服务器抛出了错误,或者我们在工作进行到一半时关闭了服务器。此时,下次我们的quartz调度程序尝试运行该作业时,它似乎什么也不做。以下是此作业定义的删节版本: 委婉地说,我是Spring Batch
我有一个spring批处理工作,比如说5个步骤(