我可以让一个组的所有消费者都使用来自Kafka主题所有分区的消息吗？
假设在Kafka中，我有一个主题“A”的4个分区，并且我有20个消费者组“AC”的消费者。我不需要任何排序，但我想通过扩展我的消费者实例来更快地处理消息。请注意，所有消息都是独立的，可以独立处理。
我查看了消费者配置分区。分配策略，但不确定是否可以根据消息可用性实现消费者到分区的动态分配。
共有1个答案
一个分区被分配给组中的一个消费者。在您的情况下，您只有20个正在工作的消费者中的4个。如果您想要更多分配的消费者，您必须增加分区数。
-
我有一个多分区主题，由多个使用者（同一组）使用。我的目标是最大化消费处理，即任何消费者都可以消费来自任何分区的消息。 我知道这看起来是不可能的，因为只有一个消费者可以从一个分区中消费。 有没有可能使用REST代理来实现这一点？例如，轮询所有代理消费者实例。 谢了。
-
我必须记录消费者在SpringKafka中花费的时间。由于kafkaListener方法对每条消息都执行，因此在那里放置一个记录器是行不通的。此外，有时一些信息会丢失，而不是被消费者消费掉。我应该把记录器放在哪里，以找出消费者启动后的弹性时间。使用者不会退出或关闭，其轮询将无限期进行
-
我有一个名为“test-topic”的主题，有3个分区。 当我启动一个将group-id设置为“test-group”的使用者(consumer-1)时，它连接并读取主题上的所有分区。到目前为止还好。 当我在同一个组中启动另一个消费者(consumer-2)时，问题就出现了。我希望在两个消费者之间划分分区时能够重新平衡，例如，消费者-1得到分区0和2，消费者-2得到分区1。这种情况不会发生，当然我
-
我创建了一个带有10个分区的Kafka主题，并尝试通过单个Kafka消费者来消费消息。但是，kafka consumer并不是从所有分区读取消息。更具体地说，它只使用来自5个特定分区的消息。示例：使用者仅使用来自[0,1,2,3,4]的消息。在重新启动之后，如果它开始使用来自[5,6,7,8,9]的消息，那么它将只使用来自这些分区的消息。下面是kafka-consumer-offset-check
-
为了使用Kafka通用地发布消息，我使用类名作为主题： 服务器属性（我从默认属性中唯一更改的内容）： 注意：我还尝试了以下用户设置：
-
生产者发送消息到一个有四个分区的主题。我们有一个消费者在消费来自这个主题的消息。应用程序在工作日一直运行周末例外：它不会在周末期间调用poll方法。 使用者配置：自动提交，自动提交时间为5s（默认）。 应用程序一直运行良好，直到一个星期天，当它重新开始调用poll方法。我们看到有数百万条消息从这个话题中被轮询出来。消费者基本上是轮询来自主题的所有消息。将新的偏移量与它在周末停止之前的偏移量进行比较