对使用新的Kafka幂等生产者API防止重复感到困惑

Question

我的应用html" target="_blank">程序有5个以上的消费者在使用一个kafka主题的5个分区。（使用kafka版本11）我的消费者每个都产生一个消息到另一个主题，然后保存一些状态到数据库，然后做一个手动立即确认，并移动到下一个消息。

我试图解决当他们向出站主题发出成功时的场景。那么我们就会失败/失去消费者。当另一个使用者接管分区时，它将向出站主题发出另一条消息。这很糟糕：（

我发现Kafka现在有了幂等制作人，但从我读到的内容来看，它只保证了一个制作人会话。

“当生产者重新启动时，将分配新的PID。因此只对单个生产者会话保证幂等性”-（blog）-https://hevodata.com/blog/kafka-精确-只对一次

这在我看来很大程度上是无用的。在我的用例中，重点是当我在另一个消费者上重播消息时，它不会重复出站消息。

是不是我漏了什么？

Answer 1

当使用事务时，您不应该使用任何基于使用者的机制（手动或其他方式）来提交偏移。

相反，您使用生成器将偏移量发送到事务，因此偏移量提交是事务的一部分。

如果配置了KafkatransactionManager或ChainedKafkatransactionManager，Spring侦听器容器将在侦听器正常退出时向事务发送偏移量。

null

使用消费者提交偏移量不是事务的一部分，因此事情不会像预期的那样工作。

当使用事务管理器时，侦听器容器将生产者绑定到线程，因此任何下游的kafkatemplate操作都参与到使用者启动的事务中。请参阅文档。