如何为kafka用户分配多个分区

Question

我已经在c中创建了kafka消费者，并创建了一个具有10个分区的主题，当我尝试使用消费者读取数据时，它仅从2个分区读取，然后说没有更多的消息。我尝试使用这两种方法，即订阅和分配，但它们都不起作用。我应该如何将所有10个分区分配给单个使用者，这是将分区分配给使用者的正确方法吗？我已经使用此存储库构建了自定义消费者 https://github.com/edenhill/librdkafka/blob/master/examples/consumer.c，并修改了上面存储库的行号173和180，并且行数如下，以便我可以从所有分区中使用。但它仍然不起作用。

for(int partition_number = 0 ; partition_number < 10 ; partition_number) { 
    rd_kafka_topic_partition_list_add(sub_list,topic[i],partition_number); 
}                                   
rd_kafka_assign(consumer,sub_list);

Answer 1

请尝试在不改变其逻辑的情况下运行您的示例，它对使用者组使用< code>subscribe()，您对< code>assign函数而不是subscribe的更改违反了逻辑...请更新使用确切的例子后会发生什么，只是改变主题名称。通过使用< code>subscribe(),它会忽略分区，并通过消费者组和kafka控制逻辑订阅整个主题

这是@edenhill assigner测试，您可能也想看看代码

https://github.com/edenhill/librdkafka/blob/master/tests/0051-assign_adds.c