以Kafka为中间磨损的spring批量远程分区
我正在检查spring批处理远程分区，以便从RDBMS源加载数据，以及多分区Kafka主题。我的问题是，我不能用rabbitMQ或JMS作为master和worker节点之间的中间件，我只能用Kafka作为master和worker之间的通道。
在所有文档中，我可以看到它支持JMS和AMQP。谁能告诉我，我们如何使用远程分区与Kafka作为中间穿....如果有人也有工作的例子，那将是一个很大的帮助？
共有1个答案
spring-integration-kafka提供了与用于JMS和RabbitMQ的端点相似的端点，因此将该文档中的概念应用于Kafka应该不难。
spring-Integration-Kafka最新版本是3.3.1（它正在移到5.4.0中的核心spring-集成项目）。
-
spring批处理远程分块和远程分区之间有什么区别？ 我无法理解spring batch中远程分块和远程分区之间的区别。谁能解释一下吗？
-
试着看看我是否能设计一个既需要分区又需要远程分块的工作。我们可以有类似于表A的东西来保存行（表A中的一列将是分区键），对于表A中的每一行，我们将有表B，其中包含表A中给定外部/分区键的许多子记录。我们需要运行一个查询，根据查询过滤表a中的分区键，并为每个分区键处理表B中的所有子记录（这里我们在表B中也会有数百万条记录，因此我们需要并行处理记录，从而实现远程分块） 对于这样的事情，什么是正确的思考s
-
问题内容： Spring Batch远程分块和远程分区有什么区别？ 我无法理解Spring Batch中的远程分块和远程分区之间的区别。有人可以解释一下吗？ 问题答案： 远程分区 分区是主/从步骤配置，允许并行处理数据分区。每个分区都是通过一些元数据来描述的。例如，如果您正在处理数据库表，则分区1可能是ID 0-100，分区2可能是101-200，等等。对于Spring Batch，主步骤使用分区
-
我们在POC中使用远程分区，处理大约2000万条记录。为了处理这些记录，slave需要一些大约5000行的静态元数据。我们当前的POC使用EhCache从数据库一次将元数据加载到从机中，并将其放入缓存中，这样子用户调用就可以从缓存中获取这些数据，从而获得更好的性能。 现在，由于我们使用远程分区，我们的从机大约有20个MDP/线程，因此每个消息侦听器首先调用以从数据库获取元数据，因此基本上每个远程机
-
我试图将journald合并到一个运行基于Yocto的图像的平台中。该板有eMMC闪存，可以磨损与太频繁的写入，但我希望日志是持久的。 现在使用syslog，它将日志记录到tmpfs，然后使用logrotate压缩它们，并在日志增长到一定大小后将它们保存到peristent存储区。然而，这使得查询它们变得更加困难。 我没有办法将journald配置为记录到tmpfs并旋转到eMMC flash。j
-
我正在使用spring批处理和spring批处理管理我们的日常批处理工作。我使用Tomcat7通过spring批处理管理UI启动作业对其进行了测试。 我的工作有跨不同服务器的远程分区步骤，我使用rabbitmq作为中间件，spring批量集成用于远程分区。 在测试过程中，我在所有服务器上部署应用程序，在所有服务器上启动tomcat，以启动所有监听器（入站网关并发线程），启动所有bean。 现在我想