当前位置: 首页 > 知识库问答 >
问题:

zookeeper在哪里存储kafka集群和相关信息?

袁奇玮
2023-03-14

我所说的集群信息指的是这样的信息

    < li >订阅的消费者/消费者群体 < li >读取和提交的偏移量 < li >分区的领导者和追随者 < li >关于服务器等的主题。

zookeeper是将这些信息保存在自己的数据库中(尽管我之前从未听说zookeepher有自己的数据库),还是将这些信息存储在Kafka集群中的一些主题等?

编辑:以及后续问题:动物园管理员如何从__consumer_offsets主题中检索消费者偏移?

共有1个答案

罗安宁
2023-03-14

ZooKeeper数据模型ZooKeeper有一个分层的名称空间,很像分布式文件系统。唯一的区别是命名空间中的每个节点都可以有与之关联的数据以及子节点。这就像有一个文件系统,允许文件也是一个目录。到节点的路径总是表示为规范的、绝对的、斜杠分隔的路径;没有相对的引用。

所以没有数据库。

偏移量保存在kafka中,而不是在动物园管理员中,在本主题中:__consumer_offsets

在动物园管理员节点中:

ls/经纪人/id

LS /brokers/topics

得到 /brokers/ids/0

在这里,您可以阅读更多关于zookeeper中kafka数据结构的信息:kafka datastructures zookeepher

有一个KIP用于一起移除动物园管理员:KIP移除动物园管理员

 类似资料:
  • 本文向大家介绍ZooKeeper 集群 ?相关面试题,主要包含被问及ZooKeeper 集群 ?时的应答技巧和注意事项,需要的朋友参考一下 为了保证高可用,最好是以集群形态来部署 ZooKeeper,这样只要集群中大部分机器是可用的(能够容忍一定的机器故障),那么 ZooKeeper 本身仍然是可用的。通常 3 台服务器就可以构成一个 ZooKeeper 集群了。ZooKeeper 官方提供的架构

  • 我正在使用Docker启动一个kafka代理集群(例如,5个代理,每个容器一个代理)。Kafka版本2.12-0.11.0.0,动物园管理员3.4.10。 场景: null > 在独立模式下启动Zookeeper,然后启动kafka 创建主题 null 检查邮件 消息被累犯 null null server.properties(broker.id唯一,broker_ip:broker_port对

  • 所有 Ceph 部署都始于 Ceph 存储集群。基于 RADOS 的 Ceph 对象存储集群包括两类守护进程:term:对象存储守护进程( OSD )把存储节点上的数据存储为对象; term:Ceph 监视器( MON )维护集群运行图的主拷贝。一个 Ceph 集群可以包含数千个存储节点,最简系统至少需要一个监视器和两个 OSD 才能做到数据复制。 Ceph 文件系统、 Ceph 对象存储、和 C

  • 我使用Zookeeper和Kafka作为使用Java的消息传递用例。我以为当您重新启动Zookeeper和Kafka服务器时,消费者组详细信息会被删除。但他们没有。zookeeper会将消费者组详细信息保存在某种文件中吗? 如果我想重置消费者组,我应该手动删除消费者组详细信息吗? 任何人都可以向我澄清这一点吗?

  • 我已经在集群中配置了3个kafka,我正在尝试与sping-kafka一起使用。 但是在我杀死kafka领导者后,我无法发送其他消息到队列。 我将Spring.kafka.bootstrap-servers属性设置为:“kafka-1:9092;kafka-2:9093,kafka-3:9094”以及我的主机文件中的所有名称。 Kafka0.10版 有人知道如何正确配置? 编辑 我测试过一个东西,

  • 问题内容: 我对使用Kafka和Zookeeper时在哪里存储偏移量感到困惑。在某些情况下,偏移似乎存储在Zookeeper中,而在其他情况下,偏移存储在Kafka中。 是什么决定偏移量存储在Kafka还是Zookeeper中?优点和缺点是什么? 注意:当然,我也可以将偏移量单独存储在其他数据存储区中,但这并不是本文的内容。 有关我的设置的更多详细信息: 我运行以下版本:KAFKA_VERSION