我将Kafka2.9.2-0.8.1.1与zookeeper 3.4.6一起使用。
是否有一个实用程序可以自动从Zookeeper中删除一个消费者组?或者我可以删除zookeeper中/consumers/[group_id]下的所有内容吗?如果是后者,我还缺少什么吗&这可以用一个动态系统来完成吗?
更新:从kafka 2.3.0版本开始,有一个新的实用程序:
>bin/kafka-consumer-groups.sh--bootstrap-server localhost:9092--delete-group my-group
相关文档:http://kafka.apache.org/documentation/#basic_ops_consumer_lag
更多讨论见下文
目前,据我所知,删除Kafka消费者组的唯一方法是手动删除Zookeeper路径/consumers/[group_id]
。
如果你只是想删除一个消费者组,手动删除Zookeeper路径没什么好担心的,但是如果你是为了倒带偏移量而这样做的话,下面的内容会很有帮助。
首先,在移除Zookeeper路径之前,您应该停止所有属于消费者组的消费者。如果您不这样做,这些消费者将不会使用新生成的消息,并将很快关闭与Zookeeper集群的连接。
重新启动使用者时,如果希望使用者从头开始,请将auto.offset.reset
属性设置为最小
(或新Kafka版本中的最早
)。该属性的默认值是最大
(或新的Kafka版本中的最新
),它使重新启动的使用者在最大偏移量之后读取,从而只使用新生成的消息。有关该属性的更多信息,请参阅Kafka文档中的Consumer Config。
供参考,有一个问题,我如何可以倒带抵消在消费者?卡夫卡常见问题,但它给我的帮助不大。
注意:这将只显示有关使用Java消费者API的消费者(非基于ZooKeeper的消费者)的信息。 此工具还适用于基于ZooKeeper的使用者: bin/kafka-consumer-groups.sh--zookeeper localhost:2181--description--group my-group null PS:这似乎没有出现在2.5文档中
假设我有 3 台 Kafka 服务器。服务器 1 zoopkeeper1 服务器 2 zoopkeeper2 服务器 3 zoopkeeper3 在集群配置中,zoopkeepers 会发生什么?它们是为每个服务器单独维护的,还是会在群集配置中同步其数据?
我在这里指的是一篇帖子:在ApacheKafka多节点集群中连接Zookeeper 这里提到,从KafkaV9版开始,制作人和消费者不必使用zookeeper。连接属性和引导。服务器足以生成/使用数据。 我的POM。xml在消费者端看起来是这样的: 在没有zookeeper的情况下,我在消费者方面遇到了以下问题。连接属性。有人在没有zookeeper connect属性的情况下让消费者部分工作吗?
分布式 Apache HBase 安装依赖于正在运行的 ZooKeeper 集群。所有参与节点和客户端都需要能够访问正在运行的 ZooKeeper 集合。 Apache HBase 默认为您管理 ZooKeeper“集群”。它将启动和停止 ZooKeeper 集合作为 HBase 启动/停止过程的一部分。您还可以独立于 HBase 管理 ZooKeeper 集合,只需将 HBase 指向它应该使用
在Zookeeper和代理身份验证上启用SASL时,我面临以下错误。 以下配置在JAAS文件中给出,该文件作为KAFKA_OPTS传递,将其作为JVM参数:- Kafka经纪人的服务器。属性设置了以下额外字段:- Zookeeper属性如下所示:
如果我部署war,我将得到以下异常: 原因:org.apache.camel.resolveEndpointFailedException:无法解析endpoint:kafka://localhost:9092?serializerClass=kafka.serializer.stringencoder&topic=checking&zookeePerhost=localhost&zookeePe