Kafka如何保证消费者不会将一条信息读两遍？

Question

Kafka如何保证消费者不会将一条信息读两遍？

或者上述情况是否可能？同一条信息可以被单个消费者或多个消费者阅读两次吗？

Answer 1

确切地说，Kafka保证：

1. Kafka为分区中的消息提供顺序保证
2. 当生成的消息被写入分区的所有同步副本时，它们被视为已提交
3. 只要至少有一个副本还活着，提交的消息就不会丢失
4. 消费者只能读取提交的消息

关于消费消息，消费者通过保存内部压缩的Kafka主题中读取的最后一个偏移量来跟踪分区中的进度。

如果启用了enable.auto.commit，kafka消费者可以自动提交偏移量。然而，这将给“最多一次”语义学。因此，通常标志被禁用，开发人员在处理完成后显式提交偏移量。

Answer 2

如果不使消费过程幂等，这是绝对可能的。

例如您正在实现至少一个传递语义，首先处理消息，然后提交偏移量。由于服务器故障或重新平衡，可能无法提交偏移量。（可能你的消费者在那个时候被撤销了）所以当你投票时，你会收到两条相同的消息。

Answer 3

有许多情况下，导致消费者消费重复的消息

1. 生产者已成功发布消息，但未能确认重试同一消息的原因

为了保证不使用重复的消息，作业的执行和提交偏移量必须是原子的，以保证在消费者端精确地传递一次语义。您可以使用下面的参数来实现一个语义。但是请你明白这是与性能相妥协的。

1. 在生产者端启用幂等性，这将保证不发布相同的消息两次enable.idempotence=true
2. 定义交易（isolation.level）read_committedisolation.level=read_committed

在Kafka流中，可以通过将语义设置为一次true，使其成为单元事务来实现上述设置

幂等元

幂等传递使制作者能够在单个制作者的生命周期内将消息准确地写入Kafka到主题的特定分区一次，而不会丢失数据和每个分区的顺序。

交易（isolation.level）

事务使我们能够自动更新多个主题分区中的数据。事务中包含的所有记录都将被成功保存，或者没有记录。它允许您在同一交易中提交您的消费者补偿以及您处理的数据，从而允许端到端的完全一次语义学。

生产者不等待向Kafka写入消息，而生产者使用beginTransaction、commitTransaction和abortTransaction（如果失败），消费者使用隔离。级别为read_committed或read_uncommitted

• read_committed：消费者将始终只读取已提交的数据。
• read_uncommitted：按偏移顺序读取所有消息，而无需等待事务提交

请参阅更多详细参考资料