使现有的spring批处理应用程序在多个节点上运行

Question

我们有现有的spring批处理应用程序，我们想使它可以在多个节点上运行。

spring批处理的可伸缩性文档包括代码更改和配置更改。

我只是想知道这是否可以通过仅仅配置更改来实现（添加新的类并在配置中连接它是好的，但只是想避免对现有的类进行代码更改）。

非常感谢事先的帮助。

Answer 1

这真的取决于你的情况。具体来说，为什么要在多个节点上运行？你试图克服的瓶颈是什么？spring批处理用于跨多个节点扩展的两种典型场景是远程分块和远程分区。这两种配置都是主/从配置，但都有不同的用例。

当一个步骤中的处理器是瓶颈时，使用远程分块。在这种情况下，主节点读取输入，并通过spring集成通道将其发送到远程节点进行处理。处理完项后，结果将返回母版进行写入。在这种情况下，读写是在本地对主机完成的。虽然这有助于并行化处理，但它需要一个I/O命中，因为每个项目都是通过有线发送的（并且需要有保证的交付，例如ala JMS）。

远程分区是另一种情况。在这种情况下，主机为每个从机生成要处理的输入的描述，并且只有该描述通过导线发送。例如，如果您正在处理数据库中的记录，则主服务器可能会向每个从服务器发送一系列行ID（1-100,101-200等）。读写发生在从机的本地，不需要保证交付（尽管在某些情况下很有用）。

根据您的用例，这两个选项都可以用最小的（或没有）新的类来完成。有几个不同的地方可以查找有关这些功能的信息：

1. spring批处理集成Github存储库-spring批处理集成是支持上述用例的项目。您可以在这里阅读更多关于它的内容:https://github.com/spring-projects/spring-batch-admin/tree/master/spring-batch-integration
2. 我的远程分区示例--本讲座将讨论远程分区，并提供一个运行在CloudFoundry上的工作示例（目前仅适用于CFV1，但CF2的更新将在几天后发布）。配置几乎相同，只是Rabbit的连接池不同:https://github.com/mminella/spring-batch-talk-2.0本次演示的视频可以在YouTube上找到：http://www.YouTube.com/watch?v=cytj5yt7czu
3. Gunnar Hillert关于spring批处理和spring集成的介绍：这是在SpringOne2GX 2013上介绍的，其中包含一些示例:https://github.com/ghillert/spring-batch-integration-sample

在任何这种情况下，远程分块都可以在没有新类的情况下完成。远程分区通常需要实现一个新类（分区器）。