Kafka--不同速度的消费者

Question

我对Kafka有一个概念上的问题。

我们有许多机器在一个主题上充当消费者，有许多分区。这些机器运行在不同的硬件设置上，将会有比其他机器具有更高吞吐量的用户。

现在，使用者和一个或多个分区之间存在直接的相关性。

Answer 1

您不必为生产者使用默认分区器，也不必在消费者中使用动态分区分配。您可以有一个高速分区池和一个单独的低速分区池，并手动（或随机）为每个分区池分配消息和使用者。

“...不使用subscribe订阅主题，您只需调用assign（Collection）并包含您想要使用的分区的完整列表。

 String topic = "foo";
 TopicPartition partition0 = new TopicPartition(topic, 0);
 TopicPartition partition1 = new TopicPartition(topic, 1);
 consumer.assign(Arrays.asList(partition0, partition1)); 

“