共有1个答案
远程分区
分区是一种主/从步骤配置，允许并行处理数据分区。每个分区都通过一些元数据进行描述。例如，如果您正在处理一个数据库表，分区1可能是ids 0-100，分区2可能是101-200，等等。对于Spring Batch，主步骤使用分区器生成包含每个分区元数据的ExecutionContext。这些ExecutionContext被分发到从属步骤，由PartitionHandler进行处理（对于远程分区，通常使用MessageChannelPartitionHandler）。从机执行其步骤并返回结果状态，以供主机聚合。
关于远程分区需要注意的事项：
- 输入和输出是从机本地的。例如，如果输入是一个文件，则从机需要访问该文件
- 从属服务器需要访问JobRepository。从属服务器是完全定义的Spring批处理步骤，因此它们需要JobRepository访问
远程分块
远程分块类似于远程分区，因为它是一种主/从配置。然而，通过远程分块，数据由主设备读取，并通过线路发送到从设备进行处理。处理完成后，ItemProcessor的结果将返回给主机进行写入。
有关远程分块的注意事项：
- 所有的I/O都是由主控完成的
我做了一个关于scaling Spring Batch的演讲，并演示了远程分区，您可以在这里观看：http://www.youtube.com/watch?v=CYTj5YT7CZU
-
试着看看我是否能设计一个既需要分区又需要远程分块的工作。我们可以有类似于表A的东西来保存行（表A中的一列将是分区键），对于表A中的每一行，我们将有表B，其中包含表A中给定外部/分区键的许多子记录。我们需要运行一个查询，根据查询过滤表a中的分区键，并为每个分区键处理表B中的所有子记录（这里我们在表B中也会有数百万条记录，因此我们需要并行处理记录，从而实现远程分块） 对于这样的事情，什么是正确的思考s
-
问题内容： Spring Batch远程分块和远程分区有什么区别？ 我无法理解Spring Batch中的远程分块和远程分区之间的区别。有人可以解释一下吗？ 问题答案： 远程分区 分区是主/从步骤配置，允许并行处理数据分区。每个分区都是通过一些元数据来描述的。例如，如果您正在处理数据库表，则分区1可能是ID 0-100，分区2可能是101-200，等等。对于Spring Batch，主步骤使用分区
-
我们在POC中使用远程分区，处理大约2000万条记录。为了处理这些记录，slave需要一些大约5000行的静态元数据。我们当前的POC使用EhCache从数据库一次将元数据加载到从机中，并将其放入缓存中，这样子用户调用就可以从缓存中获取这些数据，从而获得更好的性能。 现在，由于我们使用远程分区，我们的从机大约有20个MDP/线程，因此每个消息侦听器首先调用以从数据库获取元数据，因此基本上每个远程机
-
我开发了一个应用程序，我们必须从一个大表中处理500多万条记录。我们使用了spring批处理远程分区，它工作得很好。 我现在必须使用相同的作业，并对其进行调整，以便为多个表创建分区。每个分区都有表名和最小和最大记录，这样从机就知道必须从哪个表读取数据并准备文件。 我的问题是，这是可以做到的吗？如果可以，那么github上是否有任何样本。 非常感谢。
-
目前，我们正在将批处理作业从java迁移到spring batch。此批处理作业从数据库和web服务获取其输入。我们需要在四台服务器上运行此作业，以提高性能，因为此作业正在处理大量数据。 上述场景是否可以通过spring batch中的远程分区实现？ 我浏览了远程分区文档，但它很难理解，我没有找到任何关于远程分区的可靠示例。 请帮帮我。
-
我们有一个用例，需要从一些分页的API读取数据，然后写入一些下游的Kafka主题。 我们已经能够通过Spring批处理集成远程分区来实现解决方案，其中管理器通过创建包含页码和偏移量以读取数据的执行上下文来处理任务的分区。管理器创建此执行上下文并将它们放在MessagingChannel上（我可以使用RabbitMQ和Kafka主题，以提供解决方案者为准）。工作人员（超过1个）从MessagingC