当前位置: 首页 > 面试题库 >

谈一谈 Kafka 的再均衡

富涛
2023-03-14
本文向大家介绍谈一谈 Kafka 的再均衡相关面试题,主要包含被问及谈一谈 Kafka 的再均衡时的应答技巧和注意事项,需要的朋友参考一下

在Kafka中,当有新消费者加入或者订阅的topic数发生变化时,会触发Rebalance(再均衡:在同一个消费者组当中,分区的所有权从一个消费者转移到另外一个消费者)机制,Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下:

第一步:所有成员都向coordinator发送请求,请求入组。一旦所有成员都发送了请求,coordinator会从中选择一个consumer担任leader的角色,并把组成员信息以及订阅信息发给leader。 第二步:leader开始分配消费方案,指明具体哪个consumer负责消费哪些topic的哪些partition。一旦完成分配,leader会将这个方案发给coordinator。coordinator接收到分配方案之后会把方案发给各个consumer,这样组内的所有成员就都知道自己应该消费哪些分区了。 所以对于Rebalance来说,Coordinator起着至关重要的作用

 

 类似资料:
  • 本文向大家介绍Django 再谈一谈json序列化,包括了Django 再谈一谈json序列化的使用技巧和注意事项,需要的朋友参考一下 我们知道JSON字符串是目前流行的数据交换格式,在pyhton中我们通过json模块,将常用的数据类型转化为json字符串。但是,json支持转化的数据类型是有限的。 比如,我们通过ORM从数据库查询出的结果,试图通过json序列化: 报错,QuerySet不是J

  • 本文向大家介绍请谈一谈 Kafka 数据一致性原理?相关面试题,主要包含被问及请谈一谈 Kafka 数据一致性原理?时的应答技巧和注意事项,需要的朋友参考一下 一致性就是说不论是老的 Leader 还是新选举的 Leader,Consumer 都能读到一样的数据。 如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop 假设分区的副本为3,

  • 本文向大家介绍谈谈你对 Kafka 事务的了解?相关面试题,主要包含被问及谈谈你对 Kafka 事务的了解?时的应答技巧和注意事项,需要的朋友参考一下 为什么要提供事务机制 Kafka事务机制的实现主要是为了支持 即正好一次语义 操作的原子性 有状态操作的可恢复性 《Kafka背景及架构介绍》一文中有说明Kafka在0.11.0.0之前的版本中只支持和语义,尚不支持语义。 但是在很多要求严格的场景

  • 本文向大家介绍谈谈你对 Kafka 幂等的了解?相关面试题,主要包含被问及谈谈你对 Kafka 幂等的了解?时的应答技巧和注意事项,需要的朋友参考一下 在之前的旧版本中,Kafka只能支持两种语义:At most once和At least once。At most once保证消息不会朝服,但是可能会丢失。在实践中,很有有业务会选择这种方式。At least once保证消息不会丢失,但是可能会

  • 作者:陈希章 发表于 2017年12月21日 前言 我对SharePoint这个产品很有感情,因为曾经有相当长一段时间,在很多个夜深人静、月黑风高的晚上,我都是在和它形影不离,在一个一个项目实践中相爱相杀。今天这个产品早已经不是我最初认识它的模样,但历经这么长时间的发展变迁,我觉得现在是在一个非常好的发展轨道上面。 SharePoint平台过去是、现在也仍然是企业级协作和内容管理的领导者,在全球拥

  • 本文向大家介绍再谈javascript原型继承,包括了再谈javascript原型继承的使用技巧和注意事项,需要的朋友参考一下 真正意义上来说Javascript并不是一门面向对象的语言,没有提供传统的继承方式,但是它提供了一种原型继承的方式,利用自身提供的原型属性来实现继承。 原型与原型链 说原型继承之前还是要先说说原型和原型链,毕竟这是实现原型继承的基础。 在Javascript中,每个函数都