Spring批处理分区：具有多个步骤的从属步骤
给定一个使用分区的Spring批处理作业，是否可能有多个分区步骤？
例如：
<batch:step id="masterStep"
next="nextStep">
<partition step="slaveStep1"
partitioner="dataPartitioner">
<batch:handler grid-size="10" task-executor="taskExecutor" />
</partition>
</batch:step>
在上述示例中，是否可以将另一个分区步骤添加到主步骤（最好不需要为每个分区步骤提供分区器）？如果没有，是否有其他方法来配置多个步骤，这些步骤将针对每个分区逐个执行？
共有1个答案
是否可以有多个分区步骤？
是的，在一个作业中可以有多个分区步骤。
在上述示例中，是否可以将另一个分区步骤添加到主步骤中（最好不需要为每个分区步骤提供分区器）？
这意味着您将拥有“嵌套的”分区步骤：一个分区步骤，其中每个工作步骤都是一个分区步骤。XSD不允许您这样做，但您可能可以使用Java配置来实现（我从未尝试过，但在我看来，这会让事情变得非常复杂）。
如果没有，是否有其他方法来配置多个步骤，这些步骤将针对每个分区逐个执行？
你可以尝试使用JobStep。这个想法是让一个作业有一个分区步骤，每个工作步骤都是一个JobStep。现在，每个worker都是一个包含多个常规步骤（您希望为每个分区运行的步骤）的作业。
-
我试图配置我的第一个多线程作业。我们有大约200,000条记录的主目录，我们需要处理。我想将文件分解为10个文件并处理它们。拆分文件tasklet工作正常 主步骤在我的配置中运行，但从步骤不运行。下面是我的配置。 分割者： MultiResourceItemReader： FlatFileItemWriter： 作业配置： 从属步骤配置： 请告知我做错了什么。我没有看到处理器urlFileItem
-
我正在尝试为分区配置Spring批处理步骤。这里很好的示例显示了一个关于“ID范围”的分区，但我不知道如何从“数据页”范围开始。 在我的顺序步骤中，我有： null
-
使用Spring Batch 3.0.4.Release。 我将作业配置为使用分区步骤。从机步骤使用块大小1。任务执行器中有六个线程。我使用从六到数百的各种网格大小来运行这个测试。我的网格大小是从StepExecutions的数量，我希望==我的分区器创建的ExecutionContexts的数量。 下面是Java配置代码：
-
我目前正在处理一批数据，这些数据来自一个拥有数百万行的大型SQL数据库。 它在处理器中执行一些处理，包括通过带有连接的大型sql查询对从Reader检索到的行进行分组。 编写器将结果写入另一个表。 问题是此Batch存在性能问题，因为Sql选择查询需要大量时间并且步骤不会在多线程中执行。 因此，我希望在多标题中运行它们，但问题是，这些步骤通过计算具有相同类型的所有行的总数来对行进行分组。 因此，如
-
我们在POC中使用远程分区，处理大约2000万条记录。为了处理这些记录，slave需要一些大约5000行的静态元数据。我们当前的POC使用EhCache从数据库一次将元数据加载到从机中，并将其放入缓存中，这样子用户调用就可以从缓存中获取这些数据，从而获得更好的性能。 现在，由于我们使用远程分区，我们的从机大约有20个MDP/线程，因此每个消息侦听器首先调用以从数据库获取元数据，因此基本上每个远程机
-
我能用一个ItemReader和多个子步骤编写一个Spring批处理步骤吗？每个步骤后面都有一个ItemProcessor和一个ItemWriter？ 我正在努力实现这样的目标： 补充说明 为了避免前后矛盾，我宁愿不读两遍 我认为这个问题与Spring Batch不同：一个阅读器、多个处理器和编写器，因为我需要按顺序处理项目，而不是并行处理。