当前位置: 首页 > 知识库问答 >
问题:

并行读取地图中的数据,并在spring batch中写入不同的文件

谢誉
2023-03-14

我试图从大约4张地图中读取数据,我需要将其写入4个不同的文件中。。它应该使用spring批处理并行读写。

http://docs.spring.io/spring-batch/trunk/reference/html/scalability.html

1方法:使用分区器

2.方法:并行步骤

<job id="job1">
    <split id="split1" task-executor="taskExecutor" next="step4">
        <flow>
            <step id="step1" parent="s1" next="step2"/>
            <step id="step2" parent="s2"/>
        </flow>
        <flow>
            <step id="step3" parent="s3"/>
        </flow>
    </split>
    <step id="step4" parent="s4"/>
</job>

<beans:bean id="taskExecutor" class="org.spr...SimpleAsyncTaskExecutor"/>

只是需要一点指导,因为这是我第一次面对这样的问题。哪一个是更好的方法或其他选择?

共有2个答案

林涵映
2023-03-14

如果您有不同的数据源,必须写入不同的目标(例如,表A中的数据存储在文件A. txt中,等等),我会使用并行步骤。它简单且易于配置。

如果我想分配处理一个数据源所需的工作负载,或者如果我想将数据从一个源拆分到多个不同的目标,我会考虑分区。

益光亮
2023-03-14

我个人的意见是。我们用它来做一些类似的事情,输入文件和输出文件有不同的名称。我会参考你从这里得到例子的那一部分的底部。另外,请务必注意与后期绑定相关的链接部分,这将有所帮助。

 类似资料:
  • 问题内容: 我正在尝试使用地图和这些地图的切片来存储从数据库查询返回的行。但是我在row.Next()以及最终的每次迭代中得到的都是查询中同一行的切片。似乎问题与我存储的存储位置相同有关,但直到现在我仍无法解决。 我在这里想念的是什么: 源代码如下: 问题答案: 这是因为您存储在切片中的是指向地图的指针,而不是地图的副本。 从实际运行的Go地图中: 地图类型是引用类型,例如指针或切片… 由于您是在

  • 我正在MySQL中存储文本文件,并将其从Java读入项目文件。我在这方面面临一个问题。我正在保存3个文件,每个文件包含992行。但当我读取并将其保存回java项目文件夹时,两个文件被写成每行993行,最后一行是空字符串。 对此如何化解? 这里是我的代码读取和写入项目文件夹。 我正在附上可以访问这些文件的链接。文件1文件2文件3 这是密码

  • 读取行和数字并将其存储到数组X中,但数组只到位置0和1,当它改变行时,它只将新的数字(例如NUM 3)写入旧数字所在的位置(例如pos 0中的NUM 1) 有什么解决办法吗?

  • 我必须从错误中读取数据。yml文件,并将其存储在下面的结构图中。当使用下面的配置来存储值时,我得到了null。有人能帮我吗?谢谢 配置类: @Configuration@PropertySource(value=“classpath:error.yml”,factory=YamlPropertyResourceFactory.class)@EnableConfigurationProperties

  • 本文向大家介绍Python实现数据库并行读取和写入实例,包括了Python实现数据库并行读取和写入实例的使用技巧和注意事项,需要的朋友参考一下 这篇主要记录一下如何实现对数据库的并行运算来节省代码运行时间。语言是Python,其他语言思路一样。 前言 一共23w条数据,是之前通过自然语言分析处理过的数据,附一张截图: 要实现对news主体的读取,并且找到其中含有的股票名称,只要发现,就将这支股票和

  • 我需要从Excel表中读取数据,并需要将数据转换为键值对。 我已经写了下面的代码。 这是我的代码: 我得到的结果如下: 然而,我需要的输出,所有的头列应该来在映射键和相应的数据应该作为值。 我需要将我的数据设置为如下格式,请帮助<代码>地图