在spring批处理作业中使用多线程步骤
我有一个spring批处理作业，它接收平面文件，处理记录，并将输出写入另一个平面文件。我分别使用了FlatFileItemReader和FlatFileItemWriter作为读写器。然而，当我尝试实现多线程步骤时，我的工作无法正常工作。我在日志文件中收到以下警告
WARN ChunkMonitor:109 - No ItemReader set (must be concurrent step), so ignoring offset data.
WARN ChunkMonitor:141 - ItemStream was opened in a different thread. Restart data could be compromised.
你能帮我实现多线程步骤吗？
共有1个答案
这是因为FlatFileItemReader并不像文档所说的那样是线程安全的：
/**
* Abstract superclass for {@link ItemReader}s that supports restart by storing
* item count in the {@link ExecutionContext} (therefore requires item ordering
* to be preserved between runs).
*
* Subclasses are inherently *not* thread-safe.
*
* @author Robert Kasanicky
*/
要实现多线程读取器，必须编写一个自定义读取器，以同步从ItemStream接口打开和更新的调用。否则，你的工作就不安全了。
希望有帮助
问候
-
我目前正在处理一批数据，这些数据来自一个拥有数百万行的大型SQL数据库。 它在处理器中执行一些处理，包括通过带有连接的大型sql查询对从Reader检索到的行进行分组。 编写器将结果写入另一个表。 问题是此Batch存在性能问题，因为Sql选择查询需要大量时间并且步骤不会在多线程中执行。 因此，我希望在多标题中运行它们，但问题是，这些步骤通过计算具有相同类型的所有行的总数来对行进行分组。 因此，如
-
null null 任何解决问题的帮助/指针都是非常感谢的。 谢谢，哈尔·克里尚
-
我正在尝试在Spring批处理中并行运行多个作业。在谷歌上搜索了很多之后，我遇到了JobStep。有没有人使用过JobStep可以解释如何使用它来并行运行作业，或者有没有其他方法可以并行运行2个独立的作业，即当我启动批处理时，2个作业应该开始并行运行。我的要求就像 当我的应用程序启动时，两个作业都应该开始运行。使用spring batch是否可以这样做 编辑：我甚至试过这种方法 我面临着例外。sp
-
我在批处理作业中使用多线程步骤来处理来自源数据库的记录并写入目标数据库。该步骤基于块，由JdbcpagingItemReader、Processor和JDBCBathItemWriter组成。我明白，如果在步骤处理期间发生任何异常，数据库事务将回滚整个块。我想了解一下Spring batch在内部是如何管理的？由于这是多线程步骤，因此不能保证处理器和写入器在块的同一线程中执行。块可能由不同的线程处
-
null 我更新了我的步骤并添加了一个ThreadPoolTaskExecutor，如下所示 在此之后，我的处理器将被多个线程调用，但使用相同的源数据。我还有什么需要做的吗？
-
我正在尝试使用多个处理器类在处理器步骤中处理记录。这些类可以并行工作。目前我已经编写了一个多线程步骤，其中我 设置处理器类的输入和输出行 提交给遗嘱执行人服务 获取所有未来对象并收集最终输出