当前位置: 首页 > 知识库问答 >
问题:

服务器重启后未使用消费者group.id时

巴帅
2023-03-14

当消费者实例组出现时,会不会对Kafka的性能产生任何影响。重新启动时id已更改。老年人会发生什么。id它是否仍在代理内存中,或者何时将被删除?假设我有1000个消费者实例,并且所有实例都动态分配组。重新启动时的id。

可以为{log.retention.ms'}提供什么列表值。我可以设置为1毫秒吗?

共有1个答案

羊渝
2023-03-14

这将取决于你的消费者版本,因为新的消费者api是在Kafka中引入的0.9.0.1

存储在zoowatch中的旧消费者组将保留在那里,直到您显式删除它们

kafka-consumer-groups.sh --zookeeper <zookeeper> --list
kafka-consumer-groups.sh --zookeeper <zookeeper> --delete --group <group-name>

使用新api的消费者组将在他们最后提交的偏移过期后自动删除(即主题中不再提供)。您可以获得新的消费者组列表与

kafka-consumer-groups.sh --bootstrap-server <broker> --list --new-consumer

请注意,——新消费者已在Kafka2.0中删除。

另请参见删除zoowatch中的kafka消费者组

性能问题将取决于用户配置(auto.offset.reset)和主题保留大小。如果消费者被配置为获取最新消息,影响将很小,但如果他们被配置为获取最早的偏移量,并且您的主题很大,则可能会出现问题。

如果您希望您的消费者在每次启动时都从头开始阅读,请参阅如何使用Kafka消费者应用编程接口从头开始阅读数据?

log。保持ms是将邮件保存在Kafka中的毫秒数。1ms是一个有效值,但我不确定您是否真的想要这个值。

 类似资料:
  • 我们有一个制作人 在开发过程中,我重新部署了producer应用程序,并做了一些更改。但在此之后,我的消费者没有收到任何消息。我尝试重新启动消费者,但没有成功。问题可能是什么和/或如何解决? 消费者配置: 生产者配置: 编辑2: 5分钟后,消费者应用程序死亡,但以下情况除外:

  • 我刚刚开始使用动物园管理员在卡拉夫的DOSGi。我在Karaf的一个实例中提供服务,在另一个实例中提供消费者。服务端运行良好。一旦发布,我可以在安装了Zookeeper服务器的Karaf控制台中使用log:display命令查看它,并且我也可以通过浏览器访问wsdl。问题出在消费端。当服务启动时,它应该写一条消息(下面的ref代码),但是它从来没有发生。消费者代码: 和component.xml:

  • 我在kafka中面临一个奇怪的问题,即在消费者应用程序重新启动后,所有来自主题的kafka消息都在重播。有人能帮我我在这里做错了什么吗? 这是我的配置: spring.kafka.consumer.auto-偏移-重置=最早 spring.kafka.enable.auto。提交=false 我的生产者配置: 消费者配置: 消费者代码: 集装箱代码 消费者配置 应用程序.属性

  • 是否有一种方法以编程方式访问和打印使用者滞后偏移,或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视,我应该在上面添加哪些语句来得到滞后偏移值?

  • 我将python kafka consumer的< code>auto_commit设置为< code>False,我正在手动提交消息。然而,重启后,消费者再次消费来自每个分区的最后一条消息。只有最后一个,不能再多。 这就是所展示的: 不知道为什么会显示滞后,whu当前偏移设置为最后一条消息而不是下一条?当我提交偏移量3时,当前偏移量不应该移动到4吗? 我提交我使用的每条消息,但是在重启时,它总是

  • Feign介绍 Feign是一个声明式的web service客户端,它使得编写web service客户端更为容易。创建接口,为接口添加注解,即可使用Feign。Feign可以使用Feign注解或者JAX-RS注解,还支持热插拔的编码器和解码器。Spring Cloud为Feign添加了Spring MVC的注解支持,并整合了Ribbon和Eureka来为使用Feign时提供负载均衡。 译自:h