制作人丢失了一些关于Kafka重启的消息

Question

Kafka客户：0.11.0.0-cp1Kafka经纪人：

在Kafka broker滚动重启时，我们的应用程序在发送到broker时丢失了一些消息。我相信滚动重启不应该丢失任何信息。以下是我们正在使用的生产者（将生产者与异步发送（）一起使用，而不使用回调/未来等）设置：

val acksConfig: String = "all",
val retriesConfig: Int = Int.MAX_VALUE,
val retriesBackOffConfig: Int = 1000,
val batchSize: Int = 32768,
val lingerTime: Int = 1,
val maxBlockTime: Int = Int.MAX_VALUE,
val requestTimeOut: Int = 420000,
val bufferMemory: Int = 33_554_432,
val compressionType: String = "gzip",
val keySerializer: Class<StringSerializer> = StringSerializer::class.java,
val valueSerializer: Class<ByteArraySerializer> = ByteArraySerializer::class.java

我在日志中看到了这些例外

2019-03-19 17:30:59,224 [org.apache.kafka.clients.producer.internals.Sender] [kafka-producer-network-thread | producer-1] (Sender.java:511) WARN  org.apache.kafka.clients.producer.internals.Sender  - Got error produce response with correlation id 1105790 on topic-partition catapult_on_entitlement_updates_prod-67, retrying (2147483643 attempts left). Error: NOT_LEADER_FOR_PARTITION

但日志显示重试尝试离开了，我很好奇为什么它没有重试呢？如果有人有任何想法，请告诉我？

Answer 1

需要注意两件事：

1. 您正在制作的主题的复制系数是多少？所需的min.insync数是多少。复制品
2. 你说的“制作人丢失了一些信息”是什么意思。如果制作人无法成功制作到#min.insync，则为制作人。它将抛出异常并失败（对于同步生产）。如果出现故障（同步或异步生产），则由生产商/客户机重试