基于Spring批处理和AMQP的分布式批处理
我想分散加工大批量。这个想法是使用Spring Batch在云中激发一堆AMQP消费者，然后加载廉价的任务（如项目ID）并将它们提交给AMQP交换。结果的书写将由消费者自己完成。
-
null
共有1个答案
是的，请参见spring-batch-integration项目。它结合了Spring批处理和Spring集成来执行您想要的操作。
对于批处理2.2.x，它是spring-batch-admin发行版的一部分；在即将发布的Batch3.0.0版本中，它被移到了batch Propect。
远程分区只是发送有关分区的元数据，而工人实际获取数据。
它附带了一个JMS示例，但是将spring-integration JMS网关换成spring integration amqp网关并不难。
还有一个远程分块版本，数据通过传输而不是分区元数据发送。
-
我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下： 我也想要用户界面，在那里我可以触发一个特别的基础上的工作，而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务，但它更多的是用于读->处理->写之类的工作。这里，在第一步中，我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个，或者有更好的方法来实现这个。
-
在Anylogic模型中，我的源块根据定义代理必须到达哪个节点的数据库值在不同节点上生成代理。 相同位置的订单同时到达（例如，7:30，3个代理订单到达node1，4个代理订单到达node2）。 现在我想做的是，节点1上的订单生成一批1x2和1x1，而节点2上的订单生成一批2。这些代理将扣押将这些批次运输到同一位置的运输公司，然后解除批次。 因此，我的问题是如何基于从数据库加载的Arrivaloc
-
我有一个Spring批处理作业，它通过SFTP从远程Linux服务器检索文件。远程服务器上的目录是一个包含七天文件（约400个文件）的存档。文件的大小相对较小。 Spring批处理知道哪些文件已经被处理。 当我启动应用程序时。第一次,Spring Batch tasklet检索文件时,Spring Batch会为它已经处理的每个文件生成一个异常： > 在Transformer类中，是否应该检查文件
-
我们目前正在将一个复杂的spring boot batch+admin UI系统迁移到一个spring-cloud-task基础设施中，该基础设施将被管理云数据流。 作为POC的第一阶段，我们必须能够将所有Spring批处理作业打包在同一个部署JAR下，并且能够使用自定义作业参数一个接一个地运行它们，并且支持某种REST API远程执行作业/任务。 我们删除了所有spring-batch管理依赖项
-
当我使用Spring批处理管理运行长时间运行的批处理作业的多个实例时，它会在达到jobLauncher线程池任务执行程序池大小后阻止其他作业运行。但是从cron中提取多个工作似乎效果不错。下面是作业启动器配置。 Spring批处理管理员Restful API是否使用不同于xml配置中指定的作业启动器？
-
我对Spring批处理跳过逻辑有一些问题。我已经配置了一个作业的步骤来跳过两个异常（SQLIntegrityConstraintViolation异常和乐观锁定失败异常）： 但当作业运行时，由于我将其配置为跳过的异常，作业以未知状态完成： 我做错什么了吗？我希望这一步跳过负责抛出其中一个异常的项，并继续处理，以便以完成状态结束。