当前位置: 首页 > 知识库问答 >
问题:

Kubernetes基础设施的选择性Kafka再平衡

邢永安
2023-03-14

一段时间后,Kubernetes controller将重新创建/重新启动失败/死亡的消费者实例,并再次执行新的重新平衡。

是否有任何方法来控制第一个重新平衡过程(当消费者死亡时)?例如,等待几秒钟而不重新平衡,直到失败的消费者返回,或者直到触发超时。如果消费者返回,是否继续基于旧的再平衡分配(即,没有新的再平衡)进行消费?

共有1个答案

阎令
2023-03-14

在此基础上,群组协调者有3个参数来决定用户的死活

session.timeout.ms
max.poll.interval.ms
heartbeat.interval.ms

您可以通过调整以上三个参数和一个拇指规则来避免不必要的重新平衡:在池循环中使用单独的线程调用第三方api。

调优以上三个参数需要ANS。以下问题

    null

https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html

你也可以探索合作再平衡

https://www.confluent.io/blog/increment-cooperative-rebalancing-in-kafka/

 类似资料:
  • 内存池 简介: Nginx里内存的使用大都十分有特色:申请了永久保存,抑或伴随着请求的结束而全部释放,还有写满了缓冲再从头接着写.这么做的原因也主要取决于Web Server的特殊的场景,内存的分配和请求相关,一条请求处理完毕,即可释放其相关的内存池,降低了开发中对内存资源管理的复杂度,也减少了内存碎片的存在. 所以在Nginx使用内存池时总是只申请,不释放,使用完毕后直接destroy整个内存池

  • Computers in the future may have as few as 1,000 vacuum tubes and weigh only 1.5 tons. — Popular Mechanics (1949) 在本章中,我们将学习如下内容: 使用版本控制 使用提交钩子 使用 Rake 部署变更 配置 Puppet 的文件服务器 从 cron 运行 Puppet 使用自动签名 预签

  • ngrok运行全球分布式隧道服务器,为您的应用程序提供快速,低延迟的流量。 地点 ngrok运行世界各地数据中心的隧道服务器。数据中心在给定区域内的位置可能改变而不通知(例如,欧洲服务器可能从法兰克福移动到伦敦)。 us - United States (Dallas) eu - Europe (Frankfurt) ap - Asia/Pacific (Singapore) au - Austr

  • 链接 集成EntityFramework 集成NHibernate 集成EntityFramework Core 集成EntityFramework MySQL 集成Dapper

  • 我用Kafka-斯特里姆齐算子在库伯内特斯上运行Kafka。我正在使用增量粘性再平衡策略,通过以下配置我的消费者: 每次我在我的消费者组中缩放消费者时,该组中的所有现有消费者都会生成以下异常 线程“main”组织中出现异常。阿帕奇。Kafka。常见的错误。RebalanceInProgressException:由于使用者正在进行自动分区分配的重新平衡,因此无法完成偏移量提交。您可以通过调用pol

  • 自由软件项目依赖于选择性捕获和信息集成的技术。对这些技术的使用越是熟练,并说服别人去使用这些技术,你的项目就越成功。随着项目的成长,这一点愈发正确。好的信息管理系统应该能够防止开源项目在布鲁克法则的重压下崩塌[12] ,也就是说向一个已经延期的项目增加人力,只能使项目延期更多。佛雷德·布鲁克观察到,项目的复杂性同参与人员数量的平方成正比。当项目中只有少数几个人时,大家可以容易的互相交谈,但当有上百