当前位置: 首页 > 知识库问答 >
问题:

引导服务器与Kafka中的动物园管理员?

空英达
2023-03-14

为什么在kafka-consumer中不推荐使用zookeeper,为什么推荐使用bootstrap服务器?引导服务器的优势是什么?

共有3个答案

严开宇
2023-03-14

在当前的kafka消费者工具中,使用--zookeeper或--bootstrap服务器参数可以区分使用旧消费者和新消费者。老消费者需要Zookeeper连接,因为偏移量保存在那里。新消费者不再需要Zookeeper,因为补偿被保存到Kafka经纪人的__consumer_offset主题中。现在不鼓励使用旧的使用者,因此对于新的应用程序,最好使用新的实现。

夏侯枫
2023-03-14
  • 在旧版本的Kafka(0.9.0)中,Kafka用于在Kafka服务器上存储数据,所有偏移相关信息(如当前分区偏移)都存储在zookeeper中。因此,消费者运行它需要数据和元数据。因此,要获取元数据,它必须调用zookeeper。这就是为什么它同时使用zookeeper和Kafka。前旧消费者代码
  • 在新版本的Kafka(即0.10.0及以上版本)中,它将所有主题元数据信息(总分区及其当前偏移量)存储在同一Kafka服务器上的__consumer_offset主题中。所以现在只有Kafka代理需要与zookeeper通信,消费者从Kafka代理本身获取所有数据和元数据,所以它现在不再需要与zookeeper通信。

当前体系结构的优势:当数据和元数据位于同一位置时,管理它们更容易。

罗昕
2023-03-14

kafka消费者需要将偏移量提交给kafka,并从Kafka获取偏移量。由于kafka将偏移存储从zookeeper移动到kafka brokers,kafka消费者不需要直接与zookeeper通信,因此新的kafka消费者不需要配置zookeeper。

然而,kafka消费者总是需要连接到kafka代理(集群)来发送请求到服务器,引导服务器只是这个集群的一些代理,并且使用这个,消费者可以找到所有的代理。

 类似资料:
  • 假设我有 3 台 Kafka 服务器。服务器 1 zoopkeeper1 服务器 2 zoopkeeper2 服务器 3 zoopkeeper3 在集群配置中,zoopkeepers 会发生什么?它们是为每个服务器单独维护的,还是会在群集配置中同步其数据?

  • 在Zookeeper和代理身份验证上启用SASL时,我面临以下错误。 以下配置在JAAS文件中给出,该文件作为KAFKA_OPTS传递,将其作为JVM参数:- Kafka经纪人的服务器。属性设置了以下额外字段:- Zookeeper属性如下所示:

  • 分布式 Apache HBase 安装依赖于正在运行的 ZooKeeper 集群。所有参与节点和客户端都需要能够访问正在运行的 ZooKeeper 集合。 Apache HBase 默认为您管理 ZooKeeper“集群”。它将启动和停止 ZooKeeper 集合作为 HBase 启动/停止过程的一部分。您还可以独立于 HBase 管理 ZooKeeper 集合,只需将 HBase 指向它应该使用

  • 注意:这将只显示有关使用Java消费者API的消费者(非基于ZooKeeper的消费者)的信息。 此工具还适用于基于ZooKeeper的使用者: bin/kafka-consumer-groups.sh--zookeeper localhost:2181--description--group my-group null PS:这似乎没有出现在2.5文档中

  • 如果我部署war,我将得到以下异常: 原因:org.apache.camel.resolveEndpointFailedException:无法解析endpoint:kafka://localhost:9092?serializerClass=kafka.serializer.stringencoder&topic=checking&zookeePerhost=localhost&zookeePe

  • 我正在尝试安装Kafka Kafka和Zookeeper正在运行Apache Kafka tarball(v 0 . 0 . 9 ),在Docker映像中。 尝试使用提供的脚本消费/生产。并尝试使用自己的java应用程序进行生产。如果Kafka一切正常 以下是我在尝试生成时遇到的错误: Kafka属性测试 首先: 第二: 第三: 上一个: 这是我的“/etc/hosts” 我遵循了入门指南,如果我