kafka使用者从单个分区向使用者分发消息
共有1个答案
正如您已经提到的，“将消息从特定分区分发到这四个使用者”是不可能的，因为一个Kafka分区最多只能由一个使用者组的一个使用者使用。
Kafka文档中给出了参考：“这是通过将主题中的分区分配给消费者组中的消费者来实现的，这样每个分区就可以被组中的一个消费者使用。”
作为替代方案，我建议执行以下操作：让KafkaProducer将感兴趣的数据生成到一个单独的主题中，并使用您喜欢的多个分区（以提高吞吐量）。然后有一个专用的应用程序，其中使用者线程的数量与该主题的分区匹配，并从那里处理数据。
-
我的消费者并不是每次都能收到信息。我有3个代理（3个服务器）的Kafka集群，有3个主题和复制因子3的分区。 我有Java中的消费者，我将最大轮询记录设置在50000获取字节上，配置在50MB上。应用程序每分钟都进行轮询。当我向主题“my-topic”发送10条消息时，consumer不会给我所有的消息，而是只给我其中的一部分，其余的将在下一次运行中给我。消息是在applicatin睡眠期间由脚本
-
我们正在使用Spring kafka来消费消息。我们已经为每个分区创建了接收消息的接收器。现在我们需要多个接收者从单个分区接收消息。 对于例如。假设我们有一个分区0。目前，我们只有一个接收器（接收器1）从这个分区接收消息。现在我想为同一个分区（分区0）添加另一个接收器（接收器2）。 因此，如果生产者向这个分区发送100条消息，接收器1应该接收50条消息，其余50条消息应该在接收器2中接收。我不希望
-
我们希望在读取消息表单kafka时实现并行性。因此我们想在flinkkafkaconsumer中指定分区号。它将从kafka中的所有分区读取消息，而不是特定的分区号。以下是示例代码： 请建议任何更好的选择来获得并行性。
-
我使用flink和Kafka创建了一个流媒体程序，用于流媒体mongodb oplog。根据与Flink支持团队的讨论，流的顺序不能通过kafka分区来保证。我已经创建了N个kafka分区，并希望每个分区创建N个flink kafka消费者，所以流的顺序应该至少在特定的分区中保持。请建议我是否可以创建分区特定的flink kafka消费者？ 我正在使用env.setParallelism(N)进行
-
null 我在这一页上读到以下内容： 使用者从任何单个分区读取，允许您以与消息生成类似的方式扩展消息消耗的吞吐量。 也可以将使用者组织为给定主题的使用者组-组内的每个使用者从唯一分区读取，并且组作为一个整体使用来自整个主题的所有消息。 如果使用者多于分区，则某些使用者将空闲，因为它们没有可从中读取的分区。 如果分区多于使用者，则使用者将从多个分区接收消息。 如果使用者和分区的数量相等，则每个使用者
-
我对Apache Kafka是新手，我试图理解以下两个方面的区别： 创建属于同一组id的两个使用者，这些使用者来自同一主题的两个分区。 用两个线程创建一个使用者，这些线程来自同一主题的两个分区。 在第一种方法中，我实际上理解的是，每个使用者将只使用与之“相关”的分区的消息，因为这两个使用者属于同一个组。 因此，在下面的示例中，可能会发生一些不同的情况： Thread1使用AAAA和CCCC/Thr
-
TL；DR；我试图理解一个被分配了多个分区的单个使用者是如何处理reach分区的消费记录的。 例如： 在移动到下一个分区之前，会完全处理一个分区。 每次处理每个分区中的可用记录块。 从第一个可用分区处理一批N条记录 以循环旋转方式处理来自分区的N条记录 我找到了或分配程序的配置，但这只决定了使用者如何分配分区，而不是它如何从分配给它的分区中使用。 我开始深入研究KafkaConsumer源代码，#
-
我们计划编写一个Kafka消费者(java)，它读取Kafka队列以执行消息中的操作。