Vert.x kafka消费者在获取记录之间暂停

Question

我看到，尽管kafka主题有大量（数百万）消息排队，vert. x消费者只获取500条消息（默认获取量），然后将其传递给处理程序。但是在消息被处理和提交后，消费者只是停下来等待大约35秒，直到它获取另一批消息。

我希望消费者会继续获取，直到它设法赶上分区，然后暂停。我如何让它这样做？

使用以下代码设置消费者:

kafkaConsumer.subscribe(topic, result -> {
            if (result.succeeded()) {
                log.info("Kafka consumer successfully subscribed to topic {}", topic);
            } else {
                log.error("Kafka consumer failed to subscribe to topic {}", topic);
            }
            promise.handle(result);
        });

为消费者提供以下配置：

group.id = somegroup
auto.offset.reset=latest
enable.auto.commit=false
max.poll.interval.ms=300000
max.poll.records=500
session.timeout.ms=10000
heartbeat.interval.ms=3000

我使用的是vert.x 3.9.2，Kafka是2.4.1

Answer 1

延误的原因有很多。最臭名昭著的原因是，批处理获取中的每个消息都是以顺序方式手动提交的。使用autocommit加快了速度，我相信提交批处理偏移量会更快。