如何在一个Spring启动应用程序中创建多个Kafka消费者组
我想在一个spring boot应用程序中创建多个Kafka消费者组，以处理不同的Kafka队列。需求场景基于消息的关键性，它应该被推送到不同的Kafka队列。为了管理不同的Kafka队列，我想创建一个专用的Kafka消费群体。但我不确定我是否可以在一个spring boot应用程序中创建多个Kafka消费群体。
目前，我有三个Kafka主题，每个主题有4个部分，只有一个Kafka消费群体有三个Kafka消费群体。这三个Kafka消费者从三个Kafka专用队列中读取。
我谷歌了一下，但找不到任何关于这一点的线索。
共有1个答案
您的问题不清楚，听起来您对Kafka并不完全熟悉。首先，在Kafka中称为主题，而不是队列。它是主题概念，因为我们可以订阅不同的消费群体以获得相同的消息——发布订阅者语义。
也不清楚为什么你需要几个消费群体，因为即使在同一个群体中，不同的消费者也可以从不同的主题消费。
无论如何，您应该考虑使用：
/**
* Override the {@code group.id} property for the consumer factory with this value
* for this listener only.
* @return the group id.
* @since 1.3
*/
String groupId() default "";
为了您的目的，请点击KafkaListener。
-
我想为几个主题创建一个kafka消费者。consumer的方法构造函数允许我在订阅中传输主题列表的参数，如下所示： 之后，我想轮询记录从Kafka流每3秒并处理它们，但我想知道什么是这个消费者-如何将不同主题的记录轮询-首先一个主题，然后另一个，或并行。会不会一个消息量大的主题会一直处理，另一个消息量小的主题会等待？
-
我刚刚开始玩弄《Spring-Cloud-Stream》中的Kafka活页夹。 我配置了一个简单的消费者： 但当我启动应用程序时，我看到在启动日志中创建了三个独立的消费者配置： 我发现这些配置之间唯一不同的是客户机。id。 除此之外，我不知道为什么只有一个消费者有三种配置。 是因为我也在运行吗？ 这是我的：
-
问题内容： 我是一名学习Kafka的新学生，在了解多个消费者（到目前为止，文章，文档等对他们没有太大帮助）方面，我遇到了一些基本问题。 我尝试做的一件事是编写我自己的高级Kafka生产者和消费者并同时运行它们，将100条简单消息发布到某个主题，然后让消费者检索它们。我已经成功地做到了这一点，但是当我尝试引入另一个使用者来使用与刚刚发布消息的主题相同的主题时，它没有收到消息。 据我了解，对于每个主题
-
我是一个学习Kafka的新学生，我遇到了一些关于理解多个消费者的基本问题，到目前为止，文章、文档等都没有太大的帮助。 我尝试做的一件事是编写我自己的高级Kafka生产者和消费者，并同时运行他们，发布100个简单的消息到一个主题，并让我的消费者检索他们。我成功地做到了这一点，但是当我试图引入第二个消费者来消费刚刚发布消息的同一主题时，它没有收到任何消息。 我的理解是，对于每个主题，您可以有来自不同消
-
问题内容： 可用的库是sarama（或其扩展sarama- cluster ），但是没有提供消费者群体示例，在sarama或sarama-cluster中均未提供。 我不了解API。我可以举一个为主题创建消费者组的示例吗？ 问题答案： 消费方组由集群消费方“构造函数”的第二个参数指定。这是一个非常基本的草图： 因此，您将拥有一个属于指定消费者组的消费者。
-
那么我如何确保我的队列中只有一个消费者呢？