Kafka --> spring cloud Data Flow(RabbitMQ) --> Kafka

Question

我遇到的问题是使用Spring Cloud数据流（SCDF）通过环境移动数据以将数据移动到正确的位置。以下是情况：

我
• 有一个Kafka的生产版本，我只能订阅（只读）。（
3 节点群集：节点 1：9092，节点 2：9092，节点 3：9092）
• 我有一个在 Kubernetes 集群中运行的 SCDF 实例，该集群使用 RabbitMQ 主干（全部在一台服务器上）
• 我有一个 Node Kafka 服务器，它正被另一家公司用来获取数据（SSL 保护）

在查看 SCDF 时，我没有看到将 Kafka 定义为源并读取到处理器（将是自定义的）并写入其他 Kafka 实例的方法。

Answer 1

您可以将命名目的地与多活页夹支持一起使用。

RabbitMQ Binding -> processor -> named Kafka Destination

https://dataflow.spring.io/docs/feature-guides/streams/taps/#tapping-a-stream

在 Spring Cloud 流术语中，命名目标是消息传递中间件或流媒体平台中的特定目标名称。它可以是 RabbitMQ 中的交流，也可以是 Apache Kafka 中的主题。在 Spring Cloud 数据流中，命名目标可以被视为直接源或接收器，具体取决于它是充当发布者还是使用者。您可以使用来自目标的数据（例如：Kafka 主题），也可以为目标（例如 Kafka 主题）生成数据。Spring Cloud 数据流允许您使用命名目标支持在消息传递中间件上构建往返目标的事件流管道。

http > :user-click-events

:user-click-events > jdbc

https://docs.spring.io/spring-cloud-stream/docs/3.1.3/reference/html/spring-cloud-stream.html#multiple-binders

当类路径上存在多个绑定程序时，应用程序必须指示要用于每个目标绑定的绑定程序。

因此：

:RO_Kafka > processor_1 | ... | processor_n > :otherKafka

processor_1和processor_n配置了多活页夹。