kafka如何保证不丢失消息？
- 复制因子：创建topic的时候指定复制因子大于1时，一个分区被分配到一个broker上，同时会在其他broker上维护一个分区副本；
- isr列表：分区及其副本分别为leader和follower，leader对外提供读写服务，follower会向leader发送同步请求，拉取最新的数据，如果follower和leader的消息差距保持在一定范围之内，那么这个follower在isr列表内；当分区leader所在broker宕机，会从isr列表中选举一个follower作为新的leader提供服务
- 通过kafka的acks参数可以控制消息的发送行为，acks可选的值有0、1、all；当设置为0时，生产者消息发送成功即为成功，不关心是否写入到磁盘及后续操作；当设置为1时，消息发送到分区leader后写入磁盘即为成功；当设置为all时，消息发送到分区leader并写入磁盘后，同步给isr列表中的所有分区副本后即为成功
-
主要内容：一、背景引入,二、目前已有的技术方案,三、数据100%不丢失了吗？,四、按需制定技术方案一、背景引入 这篇文章，我们来聊聊在线上生产环境使用消息中间件技术的时候，从前到后的全链路到底如何保证数据不能丢失。 这个问题，在互联网公司面试的时候高频出现，而且也是非常现实的生产环境问题。 如果你的简历中写了自己熟悉MQ技术（RabbitMQ、RocketMQ、Kafka），而且在项目里有使用的经验，那么非常实际的一个生产环境问题就是：投递消息到MQ，然后从MQ消费消息来处理的这个过程，数据到
-
主要内容：文章目录,1.RocketMQ,2.Kafka,3.如何保证RabbitMQ全链路数据100%不丢失mq: rabbitmq, rocketmq, kafka 文章目录 1.RocketMQ 2.Kafka 2.1 消息传递语义剖析 2.2 Producer 端丢失场景剖析 2.3 Broker 端丢失场景剖析 2.4 Consumer 端丢失场景剖析 3.如何保证RabbitMQ全链路数据100%不丢失 3.1 生产端可靠性投递 3.2 消费端消息不丢失 1.RocketMQ Roc
-
主要内容：一、背景引入,二、前情回顾,三、目前已有的技术方案,四、数据100%不丢失了吗？,五、按需制定技术方案,六、需要研究的技术细节一、背景引入 这篇文章，我们来聊聊在线上生产环境使用消息中间件技术的时候，从前到后的全链路到底如何保证数据不能丢失。 这个问题，在互联网公司面试的时候高频出现，而且也是非常现实的生产环境问题。 如果你的简历中写了自己熟悉MQ技术（RabbitMQ、RocketMQ、Kafka），而且在项目里有使用的经验，那么非常实际的一个生产环境问题就是：投递消息到MQ，然后从
-
主要内容：一、背景引入,二、Kafka分布式存储架构,三、Kafka高可用架构,四、Kafka写入数据丢失问题,五、Kafka的ISR机制是什么？,六、数据如何保证不丢失？,七、总结一、背景引入 这篇文章，给大家聊一下写入Kafka的数据该如何保证其不丢失？ 看过之前的文章《敲重点，MQ如何实现每秒几十万的高并发写入？面试官想听到什么！》的同学，应该都知道写入Kafka的数据是会落地写入磁盘的。 我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了Kafka的核心架构原理。 二、Kafk
-
我正在尝试从 kafka 主题中获取消息，并看到如果我将 auto.commit.reset 策略设置为“最早”，则所有消息都会得到正确处理。但是，如果设置为“最新”，则第一条消息将丢失，其余消息将得到正确处理。如果我在这里错过了什么，任何人都可以帮忙吗？
-
面试题 如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？ 面试官心理分析 这个是肯定的，用 MQ 有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。 如果说你这个是用 MQ 来传递非常核心的消息，比如说计费、扣费的一些消息，那必须确保这个 MQ 传递过程中绝对不会把计费消息给弄丢。 面试题剖