多消费者从单一Kafka分区消费
-
null
我在这一页上读到以下内容：
- 使用者从任何单个分区读取，允许您以与消息生成类似的方式扩展消息消耗的吞吐量。
- 也可以将使用者组织为给定主题的使用者组-组内的每个使用者从唯一分区读取，并且组作为一个整体使用来自整个主题的所有消息。
- 如果使用者多于分区，则某些使用者将空闲，因为它们没有可从中读取的分区。
- 如果分区多于使用者，则使用者将从多个分区接收消息。
- 如果使用者和分区的数量相等，则每个使用者从一个分区按顺序读取消息。
疑点
共有1个答案
>
在使用者组内，任何时候分区只能由单个使用者使用。不，在同一组中不能有两个消费者同时从同一分区消费。
Kafaka消费者团体允许有多个消费者“某种”行为像一个单一实体。组作为一个整体应该只使用一次消息。如果一个组中的多个使用者要使用相同的分区，则这些记录将被多次处理。
如果您需要多次使用一个分区，请确保这些使用者在不同的组中。
-
TL；DR；我试图理解一个被分配了多个分区的单个使用者是如何处理reach分区的消费记录的。 例如： 在移动到下一个分区之前，会完全处理一个分区。 每次处理每个分区中的可用记录块。 从第一个可用分区处理一批N条记录 以循环旋转方式处理来自分区的N条记录 我找到了或分配程序的配置，但这只决定了使用者如何分配分区，而不是它如何从分配给它的分区中使用。 我开始深入研究KafkaConsumer源代码，#
-
我有一个将消息写入主题/分区的生产者。为了保持顺序，我希望使用单个分区，我希望12个使用者读取来自这个分区的所有消息（没有使用者组，所有消息都应该发送给所有使用者）。这是可以实现的吗？我读过一些论坛，每个分区只有一个用户可以阅读。
-
我有一个多分区主题，由多个使用者（同一组）使用。我的目标是最大化消费处理，即任何消费者都可以消费来自任何分区的消息。 我知道这看起来是不可能的，因为只有一个消费者可以从一个分区中消费。 有没有可能使用REST代理来实现这一点？例如，轮询所有代理消费者实例。 谢了。
-
我有一个Kafka系统，看起来像这样（所有消费者都在一个消费者群体中）： 在每个消费者中，我轮询消息，然后进行昂贵的计算（从1到60秒）。如果操作成功，我将提交消费者。 在我提交之前，另一个使用者是否会开始处理相同的消息？我需要保证，一旦消息被拾取，它就会被只执行一次 - 除非处理中途失败。
-
由于消息需求的排序，我们有一个主题和一个分区。我们有两个消费者运行在不同的服务器上，具有相同的配置集，即groupId、consumerId和consumerGroup。即 1主题- 当我们部署消费者时，相同的代码会部署在两台服务器上。当消息到来时，我们会注意到两个消费者都在消费消息，而不是只有一个处理。让消费者在两台独立的服务器上运行的原因是，如果一台服务器崩溃，至少其他服务器可以继续处理消息。
-
谁能请解释和指导我链接或资源阅读关于Kafka消费者如何在下面的场景下工作。 > 一个有5个消费者的消费者组和3个分区的主题（Kafka是如何决定的） 一个消费者组有5个消费者，主题有10个分区（kafka如何分担负载） 两个消费者组和两个服务器的kafka集群，其中一个主题被划分在节点1和节点2之间，当来自不同组的消费者订阅到一个分区时，如何避免重复。 上面可能不是配置kafka时的最佳实践，但