Kafka群集体系结构

有关Kafka群集体系结构，请看下面的结构图。 它显示了Kafka的集群图。

下表描述了上图中显示的每个组件。

• Broker - Kafka集群通常由多个代理组成，以保持负载平衡。 Kafka经纪人是无状态的，所以他们使用ZooKeeper维护他们的集群状态。 一个Kafka代理实例可以处理每秒数十万次的读写操作，每个Broker都可以处理TB消息，而不会影响性能。 Kafka经纪人的领导人选举可以由ZooKeeper完成。

• ZooKeeper - ZooKeeper用于管理和协调Kafka经纪人。 ZooKeeper服务主要用于通知生产者和消费者关于Kafka系统中任何新经纪人的存在或Kafka系统中经纪人的失败。 根据Zookeeper收到的有关经纪人存在或失败的通知，生产者和消费者就会做出决定，并开始与其他经纪人协调他们的任务。

• Producers - 生产者将数据推送给经纪人。 新代理启动后，所有生产者都会搜索它并自动向该新代理发送消息。 Kafka生产者不会等待经纪人的确认，并且可以像经纪人能够处理的那样快地发送消息。

• Consumers - 由于Kafka代理是无状态的，这意味着消费者必须通过使用分区偏移量来维护消耗了多少消息。 如果消费者确认特定的消息偏移量，则意味着消费者已经消费了所有先前的消息。 消费者向代理发出一个异步拉取请求，以准备消耗字节缓冲区。 消费者可以简单地通过提供偏移值来倒回或跳到分区中的任何点。 消费者补偿值由ZooKeeper通知。