一个Kafka消费者如何从多个分区读取数据？

Question

我想知道一个使用者如何从多个分区使用消息，具体来说，从不同的分区读取消息的顺序是什么？

我看了一眼源代码（Consumer，Fetcher），但我不能完全理解。

这是我以为会发生的：

分区是顺序读取的。也就是说:在继续下一个分区之前，一个分区中的所有消息都将被读取。如果我们达到< code>max.poll.records而没有消耗整个分区，则下一次读取将继续读取当前分区，直到耗尽为止，然后继续下一次读取。

我试着将max.poll.records设置为相对较低的数字，看看会发生什么。如果我向一个主题发送消息，然后启动一个消费者，那么在继续下一个分区之前，所有消息都会从一个分区中读取，即使该分区中的消息数量高于max.poll.records。

然后，我尝试通过不断地向一个分区发送消息(使用JMeter ),看能否将消费者“锁定”在该分区中。但是我做不到:来自其他分区的消息也被读取。

Answer 1

我已经阅读了评论中链接的问题的答案中提到的KIP，我想我终于理解了消费者是如何工作的。

有两个主要的配置选项会影响数据的使用方式:

> < Li > < p > < code > max . partition . fetch . bytes :服务器将为给定分区返回的最大数据量

< code>max.poll.records:每次消费者投票时返回的最大记录数量

从每个分区获取数据的过程是贪婪的，并且以循环方式进行。贪婪意味着将从每个分区检索尽可能多的记录；如果分区中的所有记录占用小于max.partition.fetch。字节，则将获取所有字节；否则，只有＜code＞max.partition.fetch。将获取字节。

现在，并非所有提取的记录都将在轮询调用中返回。将只返回< code>max.poll.records。

剩余的记录将被保留用于下一次呼叫轮询。此外，如果保留的记录数小于< code>max.poll.records，轮询方法将在返回之前开始新一轮的获取(预取)。这意味着，通常在获取新记录的同时，使用者也在处理记录。

如果某些分区接收的消息比其他分区多得多，这可能导致不太活跃的分区长时间不被处理。

这种方法的唯一缺点是，当分区各自的消息速率之间存在很大的不平衡时，它可能会导致一些分区长时间不被使用。例如，假设最大消息数设置为1的使用者从分区A和B获取数据，如果返回的获取包括来自A的1000条记录，而没有来自B的记录，则使用者必须处理来自A的所有1000条可用记录，然后才能再次在分区B上获取。

为了防止这种情况，我们可以减少最大分区。.

Answer 2

消费者正在以贪婪的循环方式轮询来自其分配分区的消息。例如，如果max.poll.records设置为100，并且分配了2个分区A，B。消费者将尝试轮询来自A的100条消息。如果分区A没有100条可用消息，它将轮询来自分区B的100条消息的剩余内容。

虽然这并不理想，但这样就不会有分区挨饿。

这也解释了为什么分区之间不能保证排序。