Kafka没有制作人发送的信息

Question

我使用spring框架和有3个代理集群的kafka。我发现使用者没有使用某些消息（假设在所有发送消息中使用0.01%)，所以在生产者代码中，我记录了API返回的消息偏移量：

ListenableFuture<SendResult<String, Message>> future = messageTemplate.sendDefault(id, message);
SendResult<String, Message> sendResult = future.get();
String offset = sendResult.getRecordMetadata().offset();

我使用返回偏移量来查询所有分区中的kafka主题，但它没有找到消息（我测试了与消费者使用的和他们在kafka中的消息相关的其他偏移量），问题是什么，我如何确保该消息发送到kafka？

我还在producer中使用了MessageTemplate.flush（）；

Answer 1

我发现，当Kafka broker的topic leader下降时，Kafka将重新平衡自己，另一个broker将成为该分区的leader，如果ack配置未设置为all，则在此过程中有可能丢失一些数据。因此将配置更改为

ack=all

此外，如果同步副本中的最小值小于2，则有可能丢失数据，因此将其至少设置为2。

min.insync.replicas = 2