使用来自多个 kafka 主题的消息的最佳做法是什么？

Question

我需要来自不同Kafka主题的消费者消息，

< li >我是否应该为每个主题创建不同的消费者实例，然后根据分区数量启动新的处理线程。或者 < li >我应该从单个消费者实例订阅所有主题，并且应该启动不同的处理线程

谢啦

Answer 1

这实际上取决于应用程序的逻辑——它是否需要在一个地方同时查看所有消息。有时，根据应用程序的业务逻辑，从单个主题进行消费可能更容易实现。

Answer 2

唯一的规则是，你必须解释Kafka做了什么，没有不保证:

• Kafka只保证单个主题/分区的消息顺序。编辑：这也意味着如果您的单个主题消费者出于某种原因切换分区，您可以将消息打乱顺序。
• 当您使用单个消费者订阅多个主题时，会为每个请求的主题分配一个主题/分区对。
• 这意味着任何一个主题的传入消息的顺序都是正确的，但您不能保证主题之间的顺序是按时间顺序排列的。
• 您也不能保证您会在任何给定时间段内收到来自任何特定订阅主题的消息。

我最近遇到了一个bug，因为我的应用程序向一个消费者订阅了许多主题。每个主题都是一个图像的实时反馈，每条消息一个图像。因为所有的主题总是有新的图像，所以每个poll()只返回第一个注册主题的图像。

如果处理所有消息很重要，那么您需要确保每个消费者处理来自其所有订阅主题的消息的速度比创建消息的速度快。如果不能，那么您要么需要更多消费者在同一组中提交读取，要么您必须接受某些消息可能永远不会被处理的事实。

显然，一个消费者/主题是最简单的，但是拥有额外的消费者会增加一些开销。你必须根据你的需求来决定这是否重要。

正确回答问题的唯一方法是评估应用程序的特定要求和功能，并构建在这些要求和功能范围内以及 Kafka 限制范围内工作的内容。