当前位置: 首页 > 面试经验 >

面试官:你说说Kafka是怎么保证消息可靠性的

优质
小牛编辑
93浏览
2024-03-20

面试官:你说说Kafka是怎么保证消息可靠性的

面试官:听说你精通Kafka,那我就考考你吧


面试官:不用慌尽管说,错了也没关系。。。


以【面试官面试】的形式来分享技术,本期是《Kafka系列》


牛客里的博客没有分类整理,有整理分类专栏、首发博客在CSDN(戳这),期待你的关注❤️

面试官:知道Kafka高水位吗

当前高水位就是复制偏移量嘛,记录了当前已提交消息的最大偏移量

是这样的,Kafka的消息只有在所有分区副本都同步该消息后,才算是已提交的消息。

分区副本会根据首领分区副本提供的高水位,来避免未提交的消息被消费。


面试官思考中…


面试官:你说说Kafka是怎么保证消息可靠性的

嗯嗯好的。

在Broker方面,主要使用了分区多副本架构,来保证消息不丢失。

Kafka集群的每一个分区的首领副本,都会有n(复制系数)个broker机器去复制后,生成跟随者副本

同时如果首领副本的机器挂了,跟随者副本会选举成为新的首领副本

分区有多个备份是消息保存的一个可靠性保障。


面试官思考中…


面试官:还有吗,比如生产者消费者呢

噢噢还有的,还有在生产者、消费者方面的可靠性。

一、在生产者方面

  1. 提供了ack = all这种发送确认机制。也就是只有在消息成功写入所有副本后,才算该消息已提交,保证了消息的多备份。
  2. ack = all失败的话,生产者可以继续重试发送消息。

二、在消费者方面

  1. 消费者消费时,会根据偏移量进行消费,保证了消息的顺序性
  2. 消费后会同步提交、异步提交偏移量,保证了消息不被重复消费

面试官思考中…


面试官:那要是Kafka消费堆积了怎么办

这样的话,要从Broker和消费者两方面来看。

一、Broker的话

  1. 每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区
  2. 也可以横向扩展Broker集群

二、消费者的话

  1. 可以增加消费者服务数量
  2. 提交偏移量时,可以把同步提交改为异步提交,来减少同步等待Broker的时间

面试官思考中…


面试官:emmmm,你知道Kafka控制器吧

嗯嗯知道的。控制器其实也是一个broker,不过它还负责选举分区首领

也就是在首领副本所在的分区失效后,通过控制器来在分区副本里选举出新的首领副本

面试官抓抓脑袋,继续看你的简历......


得想想考点你不懂的

未完待续。。。。。。

好了,今天的分享就先到这,我们下期【Kafka系列】继续。

整理分类专栏、首发博客在:CSDN


GitHub,你的 ⭐️ Star ⭐️,是作者的动力!


创作不易,不妨点赞、收藏、关注支持一下,各位的支持就是我创作的最大动力❤️

#Java面试##大厂面试流程##Kafka##大厂面试##ZooKeeper面试#
 类似资料: