Kafka中的消息是否会丢失和重复消费？
要确定Kafka的消息是否丢失或重复，从两个方面分析入手：消息发送和消息消费。
1、消息发送
Kafka消息发送有两种方式：同步（sync）和异步（async），默认是同步方式，可通过producer.type属性进行配置。Kafka通过配置request.required.acks属性来确认消息的生产：
0---表示不进行消息接收是否成功的确认； 1---表示当Leader接收成功时确认； -1---表示Leader和Follower都接收成功时确认； 综上所述，有6种消息生产的情况，下面分情况来分析消息丢失的场景：
（1）acks=0，不和Kafka集群进行消息接收确认，则当网络异常、缓冲区满了等情况时，消息可能丢失；
（2）acks=1、同步模式下，只有Leader确认接收成功后但挂掉了，副本没有同步，数据可能丢失；
2、消息消费
Kafka消息消费有两个consumer接口，Low-level API和High-level API：
Low-level API：消费者自己维护offset等值，可以实现对Kafka的完全控制；
High-level API：封装了对parition和offset的管理，使用简单；
如果使用高级接口High-level API，可能存在一个问题就是当消息消费者从集群中把消息取出来、并提交了新的消息offset值后，还没来得及消费就挂掉了，那么下次再消费时之前没消费成功的消息就“诡异”的消失了；
解决办法：
针对消息丢失：同步模式下，确认机制设置为-1，即让消息写入Leader和Follower之后再确认消息发送成功；异步模式下，为防止缓冲区满，可以在配置文件设置不限制阻塞超时时间，当缓冲区满时让生产者一直处于阻塞状态；
针对消息重复：将消息的唯一标识保存到外部介质中，每次消费时判断是否处理过即可。
消息重复消费及解决参考：https://www.javazhiyin.com/22910.html
-
所以我和我的Kafka消费者之间有了一些恼人的矛盾。我使用“Kafka节点”为我的项目。我创造了一个话题。在一个使用者组中通过2台服务器创建了2个使用者。自动提交设置为false。对于我的消费者获得的每一个mesaage，他们会启动一个异步进程，该进程可能需要1~20秒，当进程完成时，消费者会提交偏移量。我的问题是：在一个senarios中，消费者1得到一个消息，需要20秒来处理。在过程中间，他得
-
正常的在均衡比如：增加消费者或者增加分区，没有宕机的事故，会不会导致消息丢失或者重复消费呢？ 我记得在均衡时会强制消费者提交偏移量，应该不会出现上述问题把？
-
我正在尝试从 kafka 主题中获取消息，并看到如果我将 auto.commit.reset 策略设置为“最早”，则所有消息都会得到正确处理。但是，如果设置为“最新”，则第一条消息将丢失，其余消息将得到正确处理。如果我在这里错过了什么，任何人都可以帮忙吗？
-
我正在使用Docker启动一个kafka代理集群（例如，5个代理，每个容器一个代理）。Kafka版本2.12-0.11.0.0，动物园管理员3.4.10。 场景： null > 在独立模式下启动Zookeeper，然后启动kafka 创建主题 null 检查邮件 消息被累犯 null null server.properties（broker.id唯一，broker_ip:broker_port对
-
我有一个 Kafka 应用程序，我一直在使用它 kafka-console-consumer.sh 使用消息，如下所示： 它提供了我通过Kafka消费者给Kafka经纪人写的所有消息，没有任何遗漏。 最近，我将该应用程序部署在另一个环境中，因为某些原因，zookeperhost无法访问。所以我使用的是kafka简单的消费者外壳。sh，如下所示： 但是有了这个，我看到很少的消息(大约5000个中有2
-
如果一个主题订阅者在向该主题/订阅者发送推送通知时没有在线，那么他/她的消息会丢失还是当他们在线时才收到消息？