时间窗口内的Spring Kafka批次

Question

Spring Boot environment侦听kafka主题（@KafkaListener/@StreamListener）将侦听器工厂配置为以批处理模式运行：

ConcurrentKafkaListenerContainerFactory # setBatchListener

或通过应用程序。属性：

spring.kafka.listener.type=batch

如何配置框架，以便给定两个数字：N和T，它将尝试为侦听器获取N条记录，但不会等待超过T秒，如下所述：https://doc.akka.io/docs/akka/2.5/stream/operators/Source-or-Flow/groupedWithin.html
我看过的一些属性：

• 最大轮询记录确保您在一个批处理中不会获得超过N个数字
• fetch-min-size在获取请求中至少获取这个数据量
• 抓取-最大-等待但不要等待超过必要的时间
• idleBetweenPolls只是在民意调查之间睡一会儿：）

似乎应该将fetch min size与fetch max wait结合使用，但它们比较的是字节，而不是消息/记录。

很明显，手动实现这一点是可能的，我正在考虑是否可以将Spring配置为手动实现这一点。

Answer 1

似乎应该将fetch min size与fetch max wait结合使用，但它们比较的是字节，而不是消息/记录。

这是正确的，不幸的是，Kafka没有提供诸如提取之类的机制。最小记录数。

我不认为Spring会将此功能叠加在kafka客户端之上；最好在Kafka本身中要求一个新功能。

Spring根本不会操作从轮询返回的记录，除了您现在可以指定subBatchPer分区以获取仅包含一个分区的批次，以便在使用一次读/prcess时正确支持僵尸Geofence/写。