当前位置: 首页 > 知识库问答 >
问题:

Kafka主题到多个Kafka主题分派程序(同一群集)

惠志
2023-03-14

我见过mirrormaker2,但对于我的(简单的)用例来说,它似乎有些过头了。

我也知道kafkastreams,但我不想仅仅为此编写和维护代码。

我的问题是:有没有一种方法可以用kafka原生工具实现这个主题调度,而不用自己写一个Kafka-Consumer/Producer?

共有1个答案

姬温文
2023-03-14

就我所知,没有直接的方法将传入的主题消息分支到基于传入消息的主题列表。您需要编写自定义代码来实现这一点。

  1. 使用处理器API,请参阅此处
  2. 在处理器方法内部传递主题列表
  3. 使用逻辑确定需要分支的主题
  4. 使用Context.Forward将邮件发布到其他主题

context.forward(键、值、to.child(“选定主题”))

 类似资料:
  • 我们有一个传入的kafka主题,多个基于Avro模式的消息序列化到其中。 我们需要将Avro格式的消息拆分为多个其他kafka主题,基于某个公共模式属性的值。 想了解如何实现它,同时避免在汇流平台上构建中间客户端来进行这种拆分/路由。

  • 我们有一个Kafka主题,有源源不断的数据。为了处理它,我们有一个无状态的Flink管道,它使用该主题并写入另一个主题。 我们是不是漏掉了什么?我们误会什么了吗?有没有更好的解决办法? 谢了!

  • Kafka主题分区偏移位置始终从0或随机值开始,如何确保使用者记录是分区中的第一条记录?有没有办法找出答案?如果有的话,请让我知道。谢谢。

  • 在构建Kafka Streams拓扑时,可以通过两种不同的方式对多个主题的读取进行建模: 读取具有相同源节点的所有主题。 选项1相对于选项2是否有相对优势,反之亦然?所有主题都包含相同类型的数据,并具有相同的数据处理逻辑。

  • 如何在apache/kafka中使用regex消费所有主题?我尝试了上面的代码,但不起作用。

  • 简单问题: 假设我有一个具有3个分区的主题:Topic:StateEvents P1、P2和P3。 让我们假设生产者生成20条消息: 1, 2, 3, ..........20 我的问题是: 当制作人生成这些消息时: 1)每个消息将只在且仅在1个分区?也就是说,1在P1,2在P2,3在P3,然后4在P1,5在P2,6在P3,以此类推? 2)如果#1为真,当消费者订阅时,它将订阅所有分区,以便获得所