使用Spring批处理的多线程数据处理
我使用的是Spring Batch 2.1.8。释放我有一个文件，它由一些头信息和一些需要处理的记录组成。
我有一个使用面向块处理的步骤。该步骤包含ItemReader和ItemWriter的实现。ItemReader实现是线程安全的，而ItemWriter不是。
我想在处理（或写入）任何记录之前使用标题信息。在继续使用面向块的处理时，如何确保这一点？
建议的解决方案：一种解决方案可以是编写一个预处理步骤并提取头部信息。
有其他解决办法吗？
谢啦
共有1个答案
您可以尝试一种类似于Spring Batch Item Reader中的一个描述符的方法——使用skippedLinesCallback设置输入字段名称：您必须将headerCallback bean注入到您的读取器（以及处理器或写入器）中，并安全地使用它，因为headerCallback bean是从您的读取器调用的。
我希望我说的很清楚，英语不是我的母语（而且我对过去时态的理解有困难）
-
我正在尝试使用多个处理器类在处理器步骤中处理记录。这些类可以并行工作。目前我已经编写了一个多线程步骤，其中我 设置处理器类的输入和输出行 提交给遗嘱执行人服务 获取所有未来对象并收集最终输出
-
null 我更新了我的步骤并添加了一个ThreadPoolTaskExecutor，如下所示 在此之后，我的处理器将被多个线程调用，但使用相同的源数据。我还有什么需要做的吗？
-
我想编写一个spring boot批处理应用程序，其中我有一个充满事件的数据库表。我想做的是有一个多线程的spring boot批处理应用程序，它将以这种方式工作： 我想有5个线程运行，每个线程将保留一个偏移量来跟踪它读取的事件，以便没有其他线程再次读取相同的事件。我想怎么做： 所以我希望能够在数据库表中为每个线程保留偏移量。有没有办法让Spring Boot环境以这种方式工作？
-
我试图在Spring批处理中配置几个数据源。启动时,Spring批处理抛出以下异常： 批处理配置的代码段 不知道为什么我会看到这个异常，因为我看到了一些基于xml的Spring批处理配置，这些配置声明了多个数据源。我使用的是Spring批处理核心版本3.0.1.发行版和Spring Boot版本1.1.5.发行版。如有任何帮助，将不胜感激。
-
我有一个要求，我想在下面的场景中使用Spring批处理框架。 我有一个在交易日期列上分区的表。我想使用Spring批处理框架的阅读器、处理器和写入器来处理该表的记录。我想做的是根据交易日期创建单独的线程进行读取、写入和处理。假设有4个交易日期，那么我想为单独的交易日期创建4个单独的线程。在每个线程中，阅读器将从该交易日期的表中读取记录，在处理器中丰富记录，然后在写入器中发布/写入。 我是Sprin
-
我目前正在处理一批数据，这些数据来自一个拥有数百万行的大型SQL数据库。 它在处理器中执行一些处理，包括通过带有连接的大型sql查询对从Reader检索到的行进行分组。 编写器将结果写入另一个表。 问题是此Batch存在性能问题，因为Sql选择查询需要大量时间并且步骤不会在多线程中执行。 因此，我希望在多标题中运行它们，但问题是，这些步骤通过计算具有相同类型的所有行的总数来对行进行分组。 因此，如