带有@kafkalistener注释的kafka使用者如何处理max.poll.records

Question

我正在使用spring boot 2.1.7.Release和spring-kafka 2.2.7.Release.并且我正在使用@KafKalistener注释来创建一个消费者，并且我正在使用消费者的所有默认设置。

根据apache kafka文档，'max.poll.records'的默认值是500。

在这里，我试图理解spring是如何处理记录处理的。现在我的问题是,如果我们已经在主题a上发布了500条消息,并且有一个消费者（使用@kafkalistener)订阅了这个主题,

1. 这个spring侦听器会获得所有这500条记录，然后在将一条记录传递给带有@kafkalistener注释的方法之前进行某种缓存，还是会一次只拉出一条记录并将其传递给带有@kafkalistener注释的方法

Answer 1

@kafkalistener基于KafkaMessageListenerContainer，进而完全基于ConsumerRecords org.apache.kafka.clients.Consumer.Consumer.Poll（Duration timeout) API。

您提到的选项与Apache Kafka的Spring无关。即使没有Spring,你也会处理同样的行为。

有关如何从Kafka提取记录的更多信息，请参阅返回的consumerRecords。

对Kafka来说，我们如何获取唱片并不重要。只有抵销提交才是重要的。但那是另一回事。您需要了解Apache Kafka的Spring只是标准Kafka客户端的包装。它并不是一个意见如何投票记录从主题。