一个Kafka经纪人连接多个动物园管理员

Question

我是Kafka的新手，动物园管理员和Storm。我我们的环境，我们有一个Kafka代理连接到多个动物园管理员。让生产者将消息发送到特定主题并在一个代理上将分区到多个动物园管理员与多个代理分配给多个动物园管理员相比是否有优势？

Answer 1

是的。Kafka允许您通过添加代理来扩展。当您将Kafka集群与单个代理一起使用时，就像您所做的那样，所有分区都驻留在该代理上。但是当您有多个代理时，Kafka将在它们之间拆分分区。因此，代理A可以当选为您主题的分区1和2的领导者，而代理B分区3的领导者。因此，当您向主题发布消息时，客户端将在两个代理上的各个分区之间拆分消息。

注意，我还提到了领导人选举。在Kafka集群中添加代理可以实现复制。Kafka使用ZooKeeper为每个分区选择一个领导者，正如我在示例中提到的那样。一旦选择了一个领导者，客户机就在分区之间拆分消息，并将每个消息发送给相应分区的领导者。根据主题配置，领导者可以将消息同步复制到备份。因此，在我的示例中，如果主题的复制因子是2，那么代理A将同步将分区1和2的消息复制到代理B中，而代理3会同步将分区3 中的消息复制给代理1。

所以，这就是说，添加代理给了您可伸缩性和容错性。