当前位置: 首页 > 知识库问答 >
问题:

是否可以使用List而不是Spring批处理中的csv文件作为输入

冯浩旷
2023-03-14

一段时间以来,我一直在寻找解决spring batch问题的方法。我应该使用spring batch从csv文件复制/创建新的csv文件。这里有一个例子:

outPut   | inPut
------   | ------
File1    | source1
File2    | source2 and source 3
File3    | source1 and source2
File4    | Csource3 

下面是一个创建输出编号1的示例,例如File1:

 @Bean
        public Step step1() {
            return stepBuilderFactory.get("createFile1")
                    .<source1, File1> chunk(10)
                    .reader(source1Reader())
                    .processor(transformesource1ToFile1())
                    .writer(File1Writer())
                    .build();
        }

其他输出文件也是一样的,但是你可以看到一些输出使用相同的源,事实上,我不能读取相同的数据两次来重新生成一个新的输出,所以我尝试将它们作为资源存储在地图上(资源将被使用不止一个),也就是说,我将

列表

现在我的问题是如何我可以访问/得到这些列表在Spring批处理在ItemProcencer/ItemWriter/itemReader?

我可以注入 /pass这些列表到一个项目处理器,因为它是一个项目读取器返回的结果


共有1个答案

冀望
2023-03-14

我在这个Spring后批量教程中找到了解决方案:创建自定义ItemReader

它是一个自定义读取器,从List中读取输入数据。

 类似资料:
  • 嗨,我是新春批。 我有如下Spring批次的情况: 我需要运行所有促销的批处理[促销列表] > 在这里,我想再次从batch中读取上面的动态查询,因为它返回的结果至少为5万条记录。 以下是我所期待的过程,这在Spring批次中是否可行? 阅读促销【读者逐一阅读促销】 创建查询并将其放在上下文中 传递给下一个读者 读取器逐个读取事务 处理交易并计算积分 我这里的问题是不能写嵌套块[一个用于读取提升,

  • 我想将包含学生数据的csv文件转换为列表并插入数据库。我已经阅读了许多来自不同来源的示例,其中没有一个提供了使用spring batch对从Web UI上传的csv文件进行批处理的答案。所有示例都处理位于资源文件夹(classpath)中的csv文件。请帮助我处理使用Post方法上传的csv文件,如下所示。 提前谢谢。

  • 我读过spring batch中的分区,我发现了一个演示分区的示例。该示例从CSV文件中读取人员,进行一些处理,并将数据插入数据库。在本例中,1 partitioning=1 file,因此partitioner实现如下所示: 但如果我有一个10TB的文件呢?spring批处理是否允许以某种方式对其进行分区? 我尝试了以下方法来实现我的目标: 分为两步——第一步将文件分成若干部分,第二步处理第一步

  • 我正在使用一个相当大的数据集(大约500Mio-Triples)存储在图形数据库免费并在我的本地开发人员机器上运行。 我想用RDF4J对数据集执行一些操作,并且必须或多或少地选择整个数据集。要进行测试,我只需选择所需的元组。代码在第一个一百万元组中运行良好,之后由于graphDB继续分配更多的RAM,速度变得非常慢。 是否有可能对非常大的数据集执行选择查询并批量获取它们? 基本上,我只想通过一些选

  • 现在我正在用Apache Kafka做一些测试。在Kafka生产者的配置中,参数batch.size和linger.ms控制批处理策略。是否可以在生产的同时动态地制作这些参数?例如。如果数据摄取率上升很快,我们可能希望增加batch.size以每批积累更多的消息。我没有找到任何动态批处理与Kafka生产者的例子。有没有可能实施?

  • 它提供了很多与Spring Boot相关的信息,但我无法理解它是否也能提供我的Spring Batch作业的执行状态信息。例如,如果一个特定的作业成功完成或失败。 是否可以用Spring Boot Admin工具监视这些信息?如果可能的话,我如何检查我的工作状态?