对Kafka感到困惑

Question

所以我一直在读Kafka的语义学，我对它的工作原理有点困惑。

我理解生产者如何避免发送重复的消息（以防代理的ack失败），但我不明白的是，在消费者处理消息但在提交偏移量之前崩溃的情况下，一次是如何工作的。Kafka不会在这种情况下重试吗？

Answer 1

Radal在回答中很好地解释了这一点，关于在一个孤立的Kafka集群中只有一次。

在处理外部数据库（至少是事务性的）时，一个简单的方法是使用业务价值和它来自的分区/偏移量更新一行（在sgbd事务中）。这样，如果您的消费者在提交Kafka之前崩溃，您将能够获得它已处理的最后一个Kafka偏移量（通过使用consumer.seek（））

在sgbd中，这可能是一个相当大的数据开销（为所有行保留偏移量/分区），但您可能能够进行一些优化。

扬尼克

Answer 2

以下是我认为你的意思：

1. 消费者X看到记录Y，并在其上“行动”，但不提交其偏移量
2. 消费者X崩溃（仍然没有提交补偿）
3. 消费者X启动备份，重新分配相同的分区（不保证），最终再次看到记录Y

这是完全可能的。然而，要让Kafka只“工作”一次，你的所有副作用（状态、输出）也必须进入同一个Kafka集群。接下来会发生什么：

1. 消费者X开始交易

如果你在同一个Kafka集群之外有副作用（比如说，在mysql中插入一行而不是record Z），那么没有通用的方法可以让Kafka一次对你有效。你需要依靠老式的重复数据消除和幂等。