Spring批处理块处理提交频率
如果我正在读写本地文件，那么对远程数据库服务器的更新相对昂贵。如果增加[chunk-size]，内存使用量就会上升。
提交频率对编写本地文件并没有太大的影响，所以对我来说，元数据更新才是一个问题。该步骤是可重新启动的，因此从技术上讲，我不需要记录中间提交计数。
对于JobRepository，我可以只使用map或内存数据库，但我需要其他信息，例如持久化的开始/结束时间，而且这个问题只涉及一个步骤。
是否有任何配置参数可以关闭对作业存储库的中间提交计数更新，或者更早地将块记录从内存写到存储，仅以块大小/提交频率提交。基本上，我在寻找是否有什么东西可以将块大小和提交频率分开。
共有1个答案
您可以使用作业存储库中的MapJobRepositoryFactoryBean直接跳过元数据更新
<bean id="jobRepository"
class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean">
<property name="transactionManager" ref="transactionManager" />
</bean>
这些答案可能对你有帮助
batch_without_persisting_metadata
-
我在表中总共有8条记录，其中6条在spring批处理调用read时可以使用jpareader。现在我将页面大小和块大小设置为1以进行测试。期望作业运行时，它应该进行6次读取调用，然后它应该逐个处理，逐个写入。但实际上发生的是，它只是调用read 4次（从日志中我可以看到这样读取页面0...1）并处理4个，其中一个由于不匹配写入标准而被过滤掉，然后它只是更新了3个记录，作业标记为成功完成。
-
我有一个非常简单的spring批处理，它从一个表中更新了一百万条记录。因为它非常简单，所以我尝试只实现一个更新表的Tasklet。 但我想用10个记录的步骤来promise。是可以在tasklet中实现这一点，还是我必须将itemReader/ItemWriter与块一起使用？ 提前谢谢。
-
1）读取器读取的任何记录都应通过处理器的处理传递给写入器 2）我的阅读器通过SQL查询读取记录，所以如果阅读器读取了100条记录，那么所有记录都应该一次传递给writer 3）如果读取1000条记录，则应同时通过所有1000条记录 4）所以从本质上说，提交间隔在这里是动态的，而不是固定的。 5）我们有什么办法可以做到这一点吗？ 编辑： 现在我们想要的是动态提交间隔。读者正在阅读的任何内容，都将立即
-
如何使用Java配置实现这一点？
-
当我使用Spring批处理管理运行长时间运行的批处理作业的多个实例时，它会在达到jobLauncher线程池任务执行程序池大小后阻止其他作业运行。但是从cron中提取多个工作似乎效果不错。下面是作业启动器配置。 Spring批处理管理员Restful API是否使用不同于xml配置中指定的作业启动器？
-
我对Spring批处理跳过逻辑有一些问题。我已经配置了一个作业的步骤来跳过两个异常（SQLIntegrityConstraintViolation异常和乐观锁定失败异常）： 但当作业运行时，由于我将其配置为跳过的异常，作业以未知状态完成： 我做错什么了吗？我希望这一步跳过负责抛出其中一个异常的项，并继续处理，以便以完成状态结束。