为什么Kafka Consumer API不从主题的多个分区获取数据

Question

注：使用kafka_2.11-0.9.0.1

我创建了一个Kafka主题，名为：消费者教程，有3个分区，如下所示：

C:\kafka_2.11-0.9.0.1>.\bin\windows\kafka-topics.bat --describe --topic consumer-tutorial
--zookeeper localhost:2181
Topic:consumer-tutorial PartitionCount:3        ReplicationFactor:1     Configs:
        Topic: consumer-tutorial        Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: consumer-tutorial        Partition: 1    Leader: 0       Replicas: 0     Isr: 0
        Topic: consumer-tutorial        Partition: 2    Leader: 0       Replicas: 0     Isr: 0

创建主题后，我使用Producer API在每个分区中生成了一些数据，如下所示：

KafkaProducer<String,String> prod = new KafkaProducer<String,String>(props); 

for(int i =0; i < 3; i++)
{
    for(int x=start; x<end; x++)
    {
        prod.send(new ProducerRecord<String,String>("consumer-tutorial",i,Integer.toString(x),Integer.toString(rnd.nextInt(100))));     }
    start=end;
    end = start + 10;
}
prod.close();

现在，当我试图使用以下消费者API从本主题消费者教程中获取记录/消费消息时：

KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(props);
consumer.subscribe(Arrays.asList("consumer-tutorial"));

while(true)
{
    ConsumerRecords<String, String> records = consumer.poll(100);

    for(ConsumerRecord<String,String> record: records)
    {
        System.out.printf("Key: %s, Value = %s", record.key(), record.value());
    }

}

运行此代码时我没有得到任何记录。我检查了记录变量，但没有KEY： VALUE对来自Poll

看“记录”什么也没显示

谁能帮我解释一下为什么我没有得到任何数据来显示。

NOTE: It works well when I have single partition topic.




Answer 1

匿名用户

我知道获取记录需要先进行几次迭代，但在我的情况下，循环是无限的，轮询不断。今天晚些时候我发现，当我用一些新名称重置组名（我使用UUID将组名随机化）时，它会使用不同的分区从主题中获取数据。因此得出结论，需要将偏移量重置为开头，以便使用者可以开始从开头提取数据，并保持组id每次都是新的，将偏移量指针保留在开头。现在我想知道如何设置主题开头的偏移量（而不是分区）。。我试着使用“代码”道具。put（ConsumerConfig.AUTO\u OFFSET\u RESET\u CONFIG，“最早”）'和〈code〉seek〈code〉和〈code〉seektobegining〈code〉，但除非消费者失去了偏移轨迹，否则所有这些都不起作用。。有什么方法可以把偏移指针设置到起点吗？

Answer 2

当你订阅主题时，内部会发生很多这样的操作1。找到组协调器2。发送组请求并获取组长3。领导者将确保任何一个加入组或离开组成员4。领导者将根据分配策略（Range/RoundRobin）将分区分配给成员。5.然后每个消费者成员从组协调员那里获取元数据。

然后它将获取记录。所以在最初的几次迭代中，当你投票时，你不会得到任何数据。