Spring批处理作业应用程序挂起与步骤分区

Question

我们的应用程序是使用线程大小为4的spring batch step分区实现的。这意味着我们的步骤在4个线程中读取800万条记录，每个线程读取200万条记录。线程在代码的某个点上，基本上应用程序代码中最后一次调用等待的时间比预期的要长，大约40分钟，而不是5到10分钟。

<!-- partitioner job -->
  <job id="partitionJob" xmlns="http://www.springframework.org/schema/batch">

    <!-- master step, 10 threads (grid-size)  -->
    <step id="masterStep">
    <partition step="slave" partitioner="rangePartitioner">
        <handler grid-size="10" task-executor="taskExecutor" />
    </partition>
    </step>

  </job>

  <!-- each thread will run this job, with different stepExecutionContext values. -->
  <step id="slave" xmlns="http://www.springframework.org/schema/batch">
    <tasklet>
        <chunk reader="pagingItemReader" writer="flatFileItemWriter"
            processor="itemProcessor" commit-interval="1" />
    </tasklet>
  </step>

  <bean id="rangePartitioner" class="com.mkyong.partition.RangePartitioner" />

  <bean id="taskExecutor" class="org.springframework.core.task.SimpleAsyncTaskExecutor" />

  <!-- inject stepExecutionContext -->
  <bean id="itemProcessor" class="com.mkyong.processor.UserProcessor" scope="step">
    <property name="threadName" value="#{stepExecutionContext[name]}" />
  </bean>

Answer 1

这是根据@MichaelMinella的评论解决的。我不必在分区方法上进行同步。

我的批处理被删除的原因是因为存储过程问题，与spring批处理无关