用于从分区读取记录的Kafka使用者逻辑

Question

当Kafka消费者从其分配的分区读取数据时，消费者提取线程是否使用任何特定的逻辑来从分区中获取数据？例如，读取器线程是否做了任何逻辑/努力来平等/一致地读取分配的分区？它是否从最滞后的分区获取更多记录？还是只是简单的循环式逻辑？

有关于消费逻辑的详细文档吗？

谢谢你。

Answer 1

顺序似乎是不确定的。我引述这里的讨论。Kafka消费者的官方留档也提供了更多信息

如果消费者被分配了多个分区来获取数据，它将尝试同时从所有分区中消费，从而有效地赋予这些分区相同的消费优先级。然而，在某些情况下，消费者可能希望首先全速从分配的分区的某个子集获取数据，并且只有在这些分区可以使用的数据很少或没有数据时才开始获取其他分区。

其中一种情况是流处理，处理器从两个主题获取数据，并对这两个流执行连接。当其中一个主题长期落后于另一个主题时，处理器会暂停从前面的主题提取，以便让滞后的流赶上。另一个例子是引导消费者启动，其中有很多历史数据要跟上，应用程序通常希望在获取其他主题之前先获取一些主题的最新数据。