Kafka生产者当量-一次或仅仅生产者交易就足够了？

Question

从这篇文章https://www.confluent.io/blog/transactions-apache-kafka/

使用为至少一次交付语义配置的vanilla Kafka生产者和消费者，流处理应用程序可能会以以下方式完全丢失一次处理语义：

1. 制片人。由于内部重试，send（）可能导致重复写入消息B。这是由幂等生产者解决的，而不是本文其余部分的重点

2.我们可能会重新处理输入消息A，导致重复的B消息被写入输出，违反了一次处理语义学。如果流处理应用程序在写入B后但在将A标记为已消耗之前崩溃，则可能会发生再处理。因此，当它恢复时，它将再次消耗A并再次写入B，导致重复。

3.最后，在分布式环境中，应用程序会崩溃，或者更糟！暂时失去与系统其他部分的连接。通常，新实例会自动启动以替换被认为丢失的实例。通过这个过程，我们可能会有多个实例处理相同的输入主题和写入相同的输出主题，导致重复输出，违反了一次处理语义学。我们称之为“僵尸实例”的问题

问题

关于第2点，它提到当应用程序崩溃时，它将使用A并再次写入B。但是生产者幂等性不是已经处理了发送副本的情况吗？就像第一点一样？

第3点也会导致重复发送，难道第2和第3点不应该和第1点一样吗？哪些可以用幂等性处理？

Answer 1

幂等生产者在每个分区级别和生产者的生命周期内只保证一次语义。

因此，它能够涵盖场景1）。

但如果生产商崩溃（甚至完全重新启动），这些保证将不再有效，就像您在2）和3）中描述的那样，它可能会导致重复。

要处理2）和3），可以使用事务生成器。它可以确保以原子方式处理和提交消息，因此，如果出现任何故障，将正确地放弃中间工作，以便新实例启动不会导致任何重复。此外，“僵尸”实例将被适当地隔离，并防止其完全违反一次语义。

权衡是保证/速度。事务生产者提供了更多的保证，但会对性能产生影响。

在任何情况下，您选择哪个生产商取决于您的需求。有关文档，请参见以下两个部分，提供更多详细信息：

• http://kafka.apache.org/documentation/#upgrade_11_exactly_once_semantics
• http://kafka.apache.org/documentation/#semantics