当前位置: 首页 > 知识库问答 >
问题:

删除《动物园管理员》中的Kafka消费群体

施阳曜
2023-03-14

我将Kafka2.9.2-0.8.1.1与zookeeper 3.4.6一起使用。

是否有一个实用程序可以自动从Zookeeper中删除一个消费者组?或者我可以删除zookeeper中/consumers/[group_id]下的所有内容吗?如果是后者,我还缺少什么吗&这可以用一个动态系统来完成吗?

更新:从kafka 2.3.0版本开始,有一个新的实用程序:

>bin/kafka-consumer-groups.sh--bootstrap-server localhost:9092--delete-group my-group

相关文档:http://kafka.apache.org/documentation/#basic_ops_consumer_lag

更多讨论见下文

共有1个答案

邬宜然
2023-03-14

目前,据我所知,删除Kafka消费者组的唯一方法是手动删除Zookeeper路径/consumers/[group_id]

如果你只是想删除一个消费者组,手动删除Zookeeper路径没什么好担心的,但是如果你是为了倒带偏移量而这样做的话,下面的内容会很有帮助。

首先,在移除Zookeeper路径之前,您应该停止所有属于消费者组的消费者。如果您不这样做,这些消费者将不会使用新生成的消息,并将很快关闭与Zookeeper集群的连接。

重新启动使用者时,如果希望使用者从头开始,请将auto.offset.reset属性设置为最小(或新Kafka版本中的最早)。该属性的默认值是最大(或新的Kafka版本中的最新),它使重新启动的使用者在最大偏移量之后读取,从而只使用新生成的消息。有关该属性的更多信息,请参阅Kafka文档中的Consumer Config。

供参考,有一个问题,我如何可以倒带抵消在消费者?卡夫卡常见问题,但它给我的帮助不大。

 类似资料:
  • 注意:这将只显示有关使用Java消费者API的消费者(非基于ZooKeeper的消费者)的信息。 此工具还适用于基于ZooKeeper的使用者: bin/kafka-consumer-groups.sh--zookeeper localhost:2181--description--group my-group null PS:这似乎没有出现在2.5文档中

  • 假设我有 3 台 Kafka 服务器。服务器 1 zoopkeeper1 服务器 2 zoopkeeper2 服务器 3 zoopkeeper3 在集群配置中,zoopkeepers 会发生什么?它们是为每个服务器单独维护的,还是会在群集配置中同步其数据?

  • 我在这里指的是一篇帖子:在ApacheKafka多节点集群中连接Zookeeper 这里提到,从KafkaV9版开始,制作人和消费者不必使用zookeeper。连接属性和引导。服务器足以生成/使用数据。 我的POM。xml在消费者端看起来是这样的: 在没有zookeeper的情况下,我在消费者方面遇到了以下问题。连接属性。有人在没有zookeeper connect属性的情况下让消费者部分工作吗?

  • 分布式 Apache HBase 安装依赖于正在运行的 ZooKeeper 集群。所有参与节点和客户端都需要能够访问正在运行的 ZooKeeper 集合。 Apache HBase 默认为您管理 ZooKeeper“集群”。它将启动和停止 ZooKeeper 集合作为 HBase 启动/停止过程的一部分。您还可以独立于 HBase 管理 ZooKeeper 集合,只需将 HBase 指向它应该使用

  • 在Zookeeper和代理身份验证上启用SASL时,我面临以下错误。 以下配置在JAAS文件中给出,该文件作为KAFKA_OPTS传递,将其作为JVM参数:- Kafka经纪人的服务器。属性设置了以下额外字段:- Zookeeper属性如下所示:

  • 如果我部署war,我将得到以下异常: 原因:org.apache.camel.resolveEndpointFailedException:无法解析endpoint:kafka://localhost:9092?serializerClass=kafka.serializer.stringencoder&topic=checking&zookeePerhost=localhost&zookeePe