当前位置: 首页 > 知识库问答 >
问题:

基于有效载荷将消息路由到不同的Kafka主题

王渊
2023-03-14

Kafka MQ源连接器可以将事件从MQ带到1个Kafka主题,我们可以在Kafka MQ连接器内部进行基于消息的路由吗?

还是我们必须编写一个KStream应用程序来根据内容负载进行路由

共有1个答案

潘向明
2023-03-14

Single Message Transform API使您能够根据消息的内容更改主题,但如果没有一个已经存在,那么您需要编写自己的主题。

如您所说,另一种方法是使用Kafka流或KSQL进行路由

本文可能也很有用:https://www.confluent.io/blog/puting-events-in-there-place-with-dynamic-routing

 类似资料:
  • 我有一个usecase,其中传入的数据有一个标识不同类型数据的键。有一个单一的输入Kafka主题,所有类型的数据都抛向它。beam管道从输入的kafka主题中读取所有消息,并必须根据关键字路由到不同的kafka主题。 如何使用apache Beam的kafkaIO生产者?

  • 我在Kafka中有这样的配置 我有一个类,有相同的有效负载代码,我如何在任何时候在对象中转换它? 大家好,我有一个微服务接收这个字符串并且正在工作,但是我需要将这个字符串转换为一个特定的对象,当我使用ObjectMapper转换应用程序时,会返回这个异常: 抛出异常;嵌套异常是com.fasterxml.jackson.databind.exc.InvalidDefinitionException

  • 我正在考虑将Socket.io集成到一个express应用程序中。 js有一个非常好的特性,可以通过socket.io消息调用快速路由。 不过,帆在其他方面比我需要的要多一点。我正在寻找一种方法,使socket.io请求转发到快速路由,而不必使用整个sails框架。我想这是一个很常见的需求,所以我很惊讶我没有找到一个npm模块来做这件事,但是找了很长时间,我什么也没有找到。Express.io会这

  • 我使用Firebase的云函数编写了一个云函数,该函数向Firebase消息传递的某些主题发送通知。函数的最后部分定义要发送的有效负载,然后发送: 但是,我在Firebase控制台中获得了错误日志: 错误:消息负载包含"notification.data"属性的无效值。值必须是字符串。 当我注销有效负载时,我确认它是所有字符串: 然而,当我从我的iPhone应用程序发送相同的有效载荷(我试图避免,

  • 我有一个用例: 我需要定期阅读和汇总Kafka主题的信息,并发布到不同的主题。本地存储不是一个选项。这就是我计划解决这个问题的方式,欢迎提出任何改进建议 为了安排Kafka消息的聚合和发布,计划使用聚合器EIP的completionInterval选项。这是代码。 路线是:

  • 如果我们有多个使用者并且希望执行pub-sub消息传递,那么我们应该为每个消息类型创建一个主题,为每个消息类型的使用者创建一个订阅,还是只为所有消息创建一个主题,然后在使用者上处理路由?