Kafka：隔离层面的含义

Question

我有一个用例，在我的Kafka分区中，我需要100%的可靠性、幂等性（没有重复的消息）以及顺序保持。我试图使用事务性API建立一个概念证明来实现这一点。有一个叫“隔离.级别”的设置，我很难理解。

在本文中，他们将讨论这两个选项之间的区别

Kafka Consumer中现在有两个新的隔离级别：

read_committed：读取不属于事务的消息和事务提交后的消息。Read_committed使用者使用分区的结束偏移量，而不是客户端缓冲。该偏移量是属于打开事务的分区中的第一条消息。它也被称为“最后稳定偏移”(LSO)。read_committed使用者将只读取直到LSO为止，并过滤掉已中止的任何事务性消息。

read_uncommitted:按偏移量顺序读取所有消息，而不等待事务提交。这个选项类似于Kafka消费者的当前语义。

这里的性能暗示是显而易见的，但我真的很难读懂字里行间的意思，理解每个选择的功能暗示/风险。看起来read_committed更安全，但我想知道为什么。

Answer 1

首先，isolation.level设置仅在使用者从中消费的主题包含使用事务生成器编写的记录时才对使用者产生影响。

如果是这样，如果它被设置为read_uncommitted，使用者将只读取所有内容，包括中止的事务。这是默认值。

当设置为read_committed时，使用者将只能从提交的事务中读取记录（除了不属于事务的记录之外）。这还意味着，为了保持订购，如果交易正在进行中，消费者将无法消费作为该交易一部分的记录。基本上，代理只允许使用者读取到最后的稳定偏移量(LSO)。当提交（或中止）转换时，代理将更新LSO，使用者将收到新记录。