追踪Kafka中的高延迟

Question

我在一个公认的缓慢配置中设置了Kafka——但我不期待我看到的数字。

我将集群设置为＜code＞LogAppendTime＜/code＞，因此我正在测量事件写入Kafka（由代理决定）与服务接收到事件之间的时间。代理和应用程序都位于“同一位置”，因此服务器之间的ping时间很短，时钟应该同步或接近。

我看到延迟在 2ms 到 600ms 之间，很多是 250ms......巨大的差异让我觉得我的设置出了问题。它因消费者群体而异。

< code>Kafka v2.7.0 x 4个经纪人

关键代理属性:

default.replication.factor = 4
min.insync.replicas = 2
num.partitions = 50
offsets.topic.num.partitions = 50
offsets.topic.replication.factor = 4
transaction.state.log.min.isr = 2
transaction.state.log.num.partitions = 50
transaction.state.log.replication.factor = 4

主要消费者属性：

fetch.max.wait.ms = 500
fetch.min.bytes = 1
isolation_level = read_committed

主要生产者属性：

enable.idempotence = true
linger.ms = 0
transaction.id = <id>

我正在使用事务生产者使用 producer.sendOffsetsToTransaction（） 提交偏移量。

有许多消费者群体，它们都是事务性的，以相同的方式读取事件，然后用新的偏移量提交新的事件。

我遗漏了什么设置吗？我知道Kafka不是面向低延迟的，但是我想尽可能实现最低的延迟...有希望地

编辑

我还尝试了以下设置：

default.replication.factor = 2
min.insync.replicas = 1
num.partitions = 50
offsets.topic.num.partitions = 50
offsets.topic.replication.factor = 2
transaction.state.log.min.isr = 1
transaction.state.log.num.partitions = 50
transaction.state.log.replication.factor = 2

不使用交易和

enable.idempotence = false

Answer 1

< code>num.partitions = 50和< code > offsets . topic . num . partitions = 50 ，代理数量为4。我认为这是一个问题，因为您的群集花费大量时间进行复制和获取副本，因此时间花费在网络通信上。此外，I/O线程会受到限制，从而导致问题。

如果可能，减少分区的数量。是否有理由在一个4节点集群上拥有50个分区？

建议您使用以下设置

• num.network.threads
• queued.max.requests.
• num.io.threads.
• num.replica.fetchers.