消费者轮询未从具有3个分区的Kafka主题获取记录

Question

注：使用的Kafka版本：Kafka2.11-0.9.0.1

我有一个名为测试Kafka的主题，它是三个分区和一个复制因子，这个主题在每个分区中都有一些字符串数据，即键和值对。

当我试图通过消费者api获取记录时，消费者。轮询函数不获取任何记录并给出记录。count=0，但是，当我使用相同的逻辑时，只有一个单分区，那么它工作良好并获取记录。

我以为Kafka会在内部处理多个分区，并从每个分区中逐个获取记录，我只需要订阅一个主题。

有人能帮忙吗？

参考代码段：

KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(props);
        consumer.subscribe(Arrays.asList(topic));

        while(true)
        {
            ConsumerRecords<String, String> records = consumer.poll(100);

            System.out.println(records.count());

            for(ConsumerRecord<String,String> record: records)
            {
                System.out.printf("Key: %s, Value = %s", record.key(), record.value());
            }

        }

上述代码在记录计数中返回“零”。

Answer 1

尝试使用更长的轮询间隔。我尝试了100毫秒的主题，但在检索到任何消息之前，通话超时。改成1000毫秒对我来说很管用。