在当前的kafka消费者工具中,使用--zookeeper或--bootstrap服务器参数可以区分使用旧消费者和新消费者。老消费者需要Zookeeper连接,因为偏移量保存在那里。新消费者不再需要Zookeeper,因为补偿被保存到Kafka经纪人的__consumer_offset主题中。现在不鼓励使用旧的使用者,因此对于新的应用程序,最好使用新的实现。
__consumer_offset
主题中。所以现在只有Kafka代理需要与zookeeper通信,消费者从Kafka代理本身获取所有数据和元数据,所以它现在不再需要与zookeeper通信。当前体系结构的优势:当数据和元数据位于同一位置时,管理它们更容易。
kafka消费者需要将偏移量提交给kafka,并从Kafka获取偏移量。由于kafka将偏移存储从zookeeper移动到kafka brokers,kafka消费者不需要直接与zookeeper通信,因此新的kafka消费者不需要配置zookeeper。
然而,kafka消费者总是需要连接到kafka代理(集群)来发送请求到服务器,引导服务器只是这个集群的一些代理,并且使用这个,消费者可以找到所有的代理。
假设我有 3 台 Kafka 服务器。服务器 1 zoopkeeper1 服务器 2 zoopkeeper2 服务器 3 zoopkeeper3 在集群配置中,zoopkeepers 会发生什么?它们是为每个服务器单独维护的,还是会在群集配置中同步其数据?
在Zookeeper和代理身份验证上启用SASL时,我面临以下错误。 以下配置在JAAS文件中给出,该文件作为KAFKA_OPTS传递,将其作为JVM参数:- Kafka经纪人的服务器。属性设置了以下额外字段:- Zookeeper属性如下所示:
注意:这将只显示有关使用Java消费者API的消费者(非基于ZooKeeper的消费者)的信息。 此工具还适用于基于ZooKeeper的使用者: bin/kafka-consumer-groups.sh--zookeeper localhost:2181--description--group my-group null PS:这似乎没有出现在2.5文档中
分布式 Apache HBase 安装依赖于正在运行的 ZooKeeper 集群。所有参与节点和客户端都需要能够访问正在运行的 ZooKeeper 集合。 Apache HBase 默认为您管理 ZooKeeper“集群”。它将启动和停止 ZooKeeper 集合作为 HBase 启动/停止过程的一部分。您还可以独立于 HBase 管理 ZooKeeper 集合,只需将 HBase 指向它应该使用
如果我部署war,我将得到以下异常: 原因:org.apache.camel.resolveEndpointFailedException:无法解析endpoint:kafka://localhost:9092?serializerClass=kafka.serializer.stringencoder&topic=checking&zookeePerhost=localhost&zookeePe
我正在尝试安装Kafka Kafka和Zookeeper正在运行Apache Kafka tarball(v 0 . 0 . 9 ),在Docker映像中。 尝试使用提供的脚本消费/生产。并尝试使用自己的java应用程序进行生产。如果Kafka一切正常 以下是我在尝试生成时遇到的错误: Kafka属性测试 首先: 第二: 第三: 上一个: 这是我的“/etc/hosts” 我遵循了入门指南,如果我