Kafka多个消费者为一个分区
我有一个将消息写入主题/分区的生产者。为了保持顺序，我希望使用单个分区，我希望12个使用者读取来自这个分区的所有消息（没有使用者组，所有消息都应该发送给所有使用者）。这是可以实现的吗？我读过一些论坛，每个分区只有一个用户可以阅读。
共有2个答案
如果在同一个分区上有多个使用者，那么它就超过了维护排序的初始要求。虽然，您可能已经订购了存储，但消耗量将是未订购的。一定要确保你真的同意。如果是，您可以将每个消费者视为不同的消费者群体。
您可以使用SimpleConsumer来准确地实现您的要求-没有消费者组，所有消费者都可以读取单个分区。然而，这种方法意味着您必须自己处理偏移量存储和代理故障。
另一种选择是使用具有不同消费者组的高级消费者（您可以为每个消费者分配随机UUID）。这样，您将能够使用一个主题/分区与所有消费者，并能够提交偏移和处理代理中断。
“只有一个消费者可以使用一个主题/分区”规则仅适用于消费者组，例如，组中只有一个消费者可以同时使用一个主题/分区。
-
由于消息需求的排序，我们有一个主题和一个分区。我们有两个消费者运行在不同的服务器上，具有相同的配置集，即groupId、consumerId和consumerGroup。即 1主题- 当我们部署消费者时，相同的代码会部署在两台服务器上。当消息到来时，我们会注意到两个消费者都在消费消息，而不是只有一个处理。让消费者在两台独立的服务器上运行的原因是，如果一台服务器崩溃，至少其他服务器可以继续处理消息。
-
我想为几个主题创建一个kafka消费者。consumer的方法构造函数允许我在订阅中传输主题列表的参数，如下所示： 之后，我想轮询记录从Kafka流每3秒并处理它们，但我想知道什么是这个消费者-如何将不同主题的记录轮询-首先一个主题，然后另一个，或并行。会不会一个消息量大的主题会一直处理，另一个消息量小的主题会等待？
-
TL；DR；我试图理解一个被分配了多个分区的单个使用者是如何处理reach分区的消费记录的。 例如： 在移动到下一个分区之前，会完全处理一个分区。 每次处理每个分区中的可用记录块。 从第一个可用分区处理一批N条记录 以循环旋转方式处理来自分区的N条记录 我找到了或分配程序的配置，但这只决定了使用者如何分配分区，而不是它如何从分配给它的分区中使用。 我开始深入研究KafkaConsumer源代码，#
-
null 我在这一页上读到以下内容： 使用者从任何单个分区读取，允许您以与消息生成类似的方式扩展消息消耗的吞吐量。 也可以将使用者组织为给定主题的使用者组-组内的每个使用者从唯一分区读取，并且组作为一个整体使用来自整个主题的所有消息。 如果使用者多于分区，则某些使用者将空闲，因为它们没有可从中读取的分区。 如果分区多于使用者，则使用者将从多个分区接收消息。 如果使用者和分区的数量相等，则每个使用者
-
有一个基本示例，它对1个消费者起作用。它接收消息。但是添加一个额外的消费者将被忽略。 consumer2的“22”事件从未引发问题。如果我使用命令行工具检查该主题，则该主题的数据存在
-
我刚刚开始玩弄《Spring-Cloud-Stream》中的Kafka活页夹。 我配置了一个简单的消费者： 但当我启动应用程序时，我看到在启动日志中创建了三个独立的消费者配置： 我发现这些配置之间唯一不同的是客户机。id。 除此之外，我不知道为什么只有一个消费者有三种配置。 是因为我也在运行吗？ 这是我的：