当产生到主题时，Kafka流不增加偏移量1

Question

我实现了一个简单的Kafka死信记录处理器。

当使用从控制台生成器生成的记录时，它可以完美地工作。

然而，我发现我们的Kafka Streams应用程序并不能保证向接收器生成记录，对于每个生成的记录，偏移量将增加1。

我有一个场景，其中记录可能在处理它所需的所有数据发布之前被接收。当streams应用程序处理的记录不匹配时，它们将移动到一个死信主题，而不是继续向下流。当发布新数据时，我们将最新的消息从死信主题转储回流应用程序的源主题，以便与新数据一起重新处理。

死信处理器：

• 在运行应用程序开始时记录每个分区的结束偏移量
• 结束偏移量标记停止处理给定死信主题的记录的点，以避免在重新处理的记录返回死信主题时出现无限循环。
• 应用程序通过使用者组从上次运行产生的上次偏移恢复。
• 应用程序正在使用事务和KafkaProducer#SendoffsetstoTransaction提交最后产生的偏移量。

为了跟踪何时为主题的分区处理了我范围内的所有记录，我的服务将其上次从生产者生成的偏移量与消费者保存的结束偏移量映射进行比较。当我们到达结束偏移量时，使用者通过kafkaconsumer#pause暂停该分区，并且当所有分区都暂停（意味着它们到达保存的结束偏移量）时，调用它退出。

Kafka消费者API指出：

偏移量和消费者位置Kafka为分区中的每个记录维护一个数值偏移量。该偏移量用作该分区中记录的唯一标识符，还表示使用者在分区中的位置。例如，处于位置5的消费者已经消费了具有偏移0到4的记录，并且接下来将接收具有偏移5的记录。

Kafka Producer API引用的下一个偏移量也总是+1。

向使用者组协调器发送指定偏移量的列表，还将那些偏移量标记为当前事务的一部分。只有在事务提交成功的情况下，才会认为提交了这些偏移。提交的偏移量应该是应用程序将要使用的下一个消息，即lastProcessedMessageOffset+1。

我想这可能是一个Kafkahtml" target="_blank">配置问题，比如max.message.bytes，但没有一个真正有意义。然后我想也许是从加入，但没有看到任何方式将改变的方式，制作人将发挥作用。

不确定它是否相关，但我们所有的Kafka应用程序都在使用Avro和模式注册表...

无论生产方法如何，补偿是否总是增加1，或者是否可能使用Kafka streams API不能提供与普通生产者和消费者客户端相同的保证？

是不是我完全错过了什么？

Answer 1

消息偏移量增加1并不是官方的API契约，即使JavaDocs指出这一点（似乎应该更新JavaDocs）。

>

如果您不使用事务，您得到的要么是至少一次语义，要么是没有保证（有些人称之为最多一次语义）。对于至少一次，记录可能被写入两次，因此，由于重复写入“消耗”两个偏移，两个连续消息的偏移实际上不会增加1。

如果您使用事务，事务的每个提交（或中止）都将提交（或中止）标记写入主题--那些事务标记也“消耗”一个偏移量（这是您观察到的）。

因此，通常不应依赖连续偏移。您得到的唯一保证是，每个偏移量在一个分区中是唯一的。