Kafka是否区分已消耗的抵销和已提交的抵销？

Question

根据我的理解，消费者阅读特定主题的消息，并且消费者客户机将定期提交偏移量。

因此，如果由于某种原因，使用者失败了一个特定的消息，该偏移量将不会被提交，然后您可以返回并重新处理该消息。

是否有任何东西跟踪您刚刚消耗的偏移和您随后提交的偏移？

Answer 1

Kafaka是否区分已消耗的抵销和已提交的抵销？

是的，差别很大。消费的偏移量由使用者管理，使用者将从主题分区中获取后续消息。

使用者可以（但不是必须的）自动或通过调用commit API提交消息。该信息存储在名为__consumer_offsets的Kafka内部主题中，并存储基于ConsumerGroup、topic和Partition的提交偏移量。如果客户机正在重新启动或者新的使用者加入/离开ConsumerGroup,就会使用它。

请记住，如果您的客户机没有提交偏移量n但后来提交了偏移量n+1，对于Kafka来说，当您同时提交这两个偏移量时，情况不会有所不同。

编辑：关于消耗和提交的偏移量的更多详细信息可以在KafkaConsumer关于偏移量和消费者位置的JavaDocs中找到：

Kafka为分区中的每个记录维护一个数值偏移量。该偏移量用作该分区中记录的唯一标识符，还表示使用者在分区中的位置。例如，处于位置5的消费者已经消费了具有偏移0到4的记录，并且接下来将接收具有偏移5的记录。与消费者的用户相关的位置实际上有两个概念：

使用者的位置给出了下一个记录的偏移量，该记录将被输出。它将比使用者在该分区中看到的最高偏移量大一个。每次使用者在轮询（持续时间）调用中接收到消息时，它都会自动前进。

提交位置是已安全存储的最后一个偏移量。如果进程失败并重新启动，这就是使用者将恢复到的偏移量。使用者可以定期自动提交偏移；或者它可以选择通过调用其中一个提交API（例如commitSync和commitAsync）来手动控制这个提交的位置。