Kafka幂等生产者

Question

Kafka文件说，幂等生产者是可能的，与相同的生产者会话，我无法理解这一点。

比方说，Kafka为每条消息添加序列号，最后一个序列号在Kafka中维护（不确定它维护在哪里）。

它是如何生成序列号的，它保存在哪里？

为什么当制作人崩溃并再次出现时，它不能保持序列？

我怎样才能使它在制作人会话之间真正幂等？

Answer 1

“幂等元”配置仅在生产者未崩溃时有效。

然而，对于事务，您可以在不同分区之间只发送一次数据。使用生产者id（自动创建）设置事务id。如果新的生产者id与相同的事务id一起到达，则表示您有问题。然后，记录将只写入一次。

Answer 2

这是Kafka非常缺少的一个功能，我看不到一个优雅而有效的方法来解决它，而不修改Kafka本身。

作为预备，如果您想要在任何失败（生产者或经纪人）之间实现真正的幂等性，那么您绝对需要业务层（而不是较低级别的传输层）中的某种id。

在Kafka中使用这样一个id可以做的是：您的生产者至少写入一个主题一次，然后您有一个Kafka Streams流程，使用您的业务层id从该主题中删除重复的消息，并将剩余的唯一消息发布到另一个主题。为了提高效率，您应该使用单调递增的id，也就是序列号，否则您将不得不保留（并保留）您见过的每个id，这相当于html" target="_blank">内存泄漏，除非您将去重复限制为最后一个x天/小时/分钟，并只保留最新的身份证。

或者，你给Apache Pulsar一个尝试，除了解决Kafka的其他痛处（不得不做一个昂贵的手动和容易出错的重新平衡，以便横向扩展一个主题，仅举一个例子）之外，它还内置了这个功能。

Answer 3

幂等生产者在生产者进程的生命周期内只有保证。如果崩溃，新的幂等生产者将有一个不同的producerId，并将启动自己的序列。

序列号仅从0开始，每个记录的序列号都以单值递增。如果某个记录未能交付，则会使用其现有序列号再次发送该记录，以便代理可以消除重复数据（如果需要）。序列号为每个生产者和每个分区。

目前，Kafka没有提供“继续”幂等生产者会话的方法。每次启动一个时，它都会得到一个新的、唯一的ProducerId（由集群生成）