Apache Kafka分区未使用RoundRobin分区器均匀分布

Question

我正在使用Kafka Producer和RoundRobin分区器来处理一个有12个分区的主题。

代码可在此处找到https://github.com/apache/kafka/blob/2.8/clients/src/main/java/org/apache/kafka/clients/producer/RoundRobinPartitioner.java

我面临的问题是，这个分区程序让分区正确地（以循环方式）发送特定消息，但在Kafka生产者代码中，分区方法在第931行和第956行（在新批的if块内）被调用了两次，因此某些分区没有发送给它们的记录，我无法实现我想要的12的并行性。我试过以下方法。我使用与roundrobin分区器相同的逻辑有效地编写了一个自定义分区器，唯一的区别是，如果在分区器上调用newBatch方法后调用了分区方法，那么将返回之前返回的分区no。我有点担心在生产中使用它，而不理解为什么Kafka生产商代码是上面指定的方式，如果有人能解释一下，我会非常感激。此外，如果有人提出任何建议，我可以通过这些建议确保记录在每个分区上均匀分布，我也愿意接受他们。

Kafka制作人代码-https://github.com/apache/kafka/blob/2.8/clients/src/main/java/org/apache/kafka/clients/producer/KafkaProducer.java

提前谢谢你。

Answer 1

您应该使用Default分区器而不是RoundRobin分区器。

对DefaultPartitioner的评论。java说：

默认分区策略：

有关粘性分区的详细信息，请参阅KIP-480。

没有为生产者记录提供指定的分区号或分区键，那么粘性分区将起作用，这近似地使Kafka分区上的记录均匀。请参阅技巧2：了解producer API中的新粘性分区器

再次，我想解释为什么RoundRobinPartitioner总是不以通常认为的循环方式工作。RoundRobinPartitioner中的“partition（）”只能确保调用partition（）方法的数量分布是以循环方式进行的，这不足以确保分区上的记录是均匀的。

请注意，在KafkaProducer中调用partition（）。doSend（）很奇怪（可能连续两次调用partition（））。

当分区数为偶数时，此处的细微代码可能会导致分区分布不均匀。假设我们有4个分区（0、1、2、3）和8条记录。

record 1 -> 2 **partition()** call(return 0, return 1), finally assigned to partition 1
record 2 -> 2 **partition()** call(return 2, return 3), finally assigned to partition 3
record 3 -> 2 **partition()** call(return 0, return 1), finally assigned to partition 1
record 4 -> 2 **partition()** call(return 2, return 3), finally assigned to partition 3
record 5 -> 2 **partition()** call(return 0, return 1), finally assigned to partition 1
....

看见记录将只分发到分区1和3！

RoundRobinPartitioner有一个令人困惑的名称，它提供了调用partition（）的循环，而不是KafkaProducer的循环。发送（）。要确保记录在所有分区中均匀分布，请使用DefaultPartitioner！