为什么 Kafka 消费者会连接到动物园管理员，而生产者会从经纪人那里获得元数据？

Question

为什么消费者连接到zookeeper来检索分区位置？kafka制作者必须连接到其中一个代理来检索元数据。

我的观点是，当每个经纪人都已经有了所有必要的元数据来告诉生产者发送信息的位置时，动物园管理员到底有什么用？经纪人不能把同样的信息发送给消费者吗？

我可以理解为什么经纪人拥有元数据，而不必在每次向他们发送新消息时都与动物园管理员建立连接。动物园管理员有什么功能是我错过的吗？我发现很难想到为什么在Kafka集群中真正需要动物园管理员的原因。

Answer 1

你是对的，自从kafka 0.9发布以来，消费者不需要连接到ZooKeeper。他们重新设计了api，并引入了新的消费者客户端:

0.9版本为新设计的消费者客户端引入了beta版支持。从高层次上讲，新消费者的主要区别在于，它消除了基于ZooKeeper的“高级”消费者和“低级”SimpleConsumer API之间的区别，而是提供了统一的消费者API。

和

最后，这完成了过去几年中完成的一系列项目，以将Kafka客户机与Zookeeper完全分离，从而完全消除消费者客户机对Zookeeper的依赖。

Answer 2

kafka 0.9引入了新的消费者API。新消费者不需要连接到Zookeeper，因为组平衡是由kafka本身提供的。

Answer 3

首先，zookeeper只有高层次的消费者才需要。< code>SimpleConsumer不要求zookeeper工作。

高级消费者需要动物园管理员的主要原因是跟踪消耗的偏移量并处理负载平衡。

现在更详细地说。

关于偏移量跟踪，想象以下场景:您启动一个消费者，消费100条消息，然后关闭消费者。下次启动消费程序时，您可能希望从上次消费的偏移量(100)开始恢复，这意味着您必须在某个地方存储最大消费偏移量。这就是zookeeper发挥作用的地方:它存储每个组/主题/分区的偏移量。这样，下次你启动你的消费程序时，它可能会问“嘿，动物园管理员，我应该从什么偏移量开始消费？”。Kafka实际上正在朝着不仅能够在zookeeper中存储偏移，而且能够在其他存储中存储偏移的方向发展(目前只有< code>zookeeper和< code>kafka偏移存储可用，我不确定< code>kafka存储是否完全实现)。

关于负载平衡，由一台机器处理产生的消息量可能相当大，您可能希望在某个时候增加计算能力。假设您有一个包含100个分区的主题，而要处理这么多消息，您需要10台机器。实际上，这里出现了几个问题：

• 这 10 台机器应该如何划分分区？
• 如果其中一台机器死了怎么办？
• 如果要添加另一台计算机，会发生什么情况？

再说一遍，这里是动物园管理员的工作：它跟踪组中的所有消费者，每个高级别消费者都订阅了该组中的更改。关键是，当消费者出现或消失时，动物园管理员会通知所有消费者并触发重新平衡，以便他们几乎均等地分割分区（例如，平衡负载）。这样，它可以保证如果一个使用者死亡，其他使用者将继续处理该使用者拥有的分区。