Springboot Kafka-消费者幂等性
我有一个Spring-boot应用程序，可以听Kafka。为了避免重复处理，我尝试手动提交。为此，我在阅读主题后异步提交了一条消息。但是我被困在如何实现消费者幂等，这样记录就不会被处理两次。
共有1个答案
Kafka没有幂等（确切地说是一次）消费者。
Kafka确实为
kafkaRead -> process -> kafkaWrite
但是“恰好一次”只适用于整个流程。过程步骤至少一次。
-
我正在使用Apache Camel2.13.1轮询一个数据库表，其中将有300k行以上。我希望使用幂等使用者EIP来过滤已经处理过的行。 不过，我想知道这个实现是否真的是可伸缩的。我的骆驼上下文是：- 在1908988是request.body.id的情况下，我已经将EIP设置为键上，所以这并不容易合并到我的查询中。 是否有更好的方法将CAMEL_MESSAGEPROCESSED表用作select
-
Kafka文件说，幂等生产者是可能的，与相同的生产者会话，我无法理解这一点。 比方说，Kafka为每条消息添加序列号，最后一个序列号在Kafka中维护（不确定它维护在哪里）。 它是如何生成序列号的，它保存在哪里？ 为什么当制作人崩溃并再次出现时，它不能保持序列？ 我怎样才能使它在制作人会话之间真正幂等？
-
是否有一种方法以编程方式访问和打印使用者滞后偏移，或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视，我应该在上面添加哪些语句来得到滞后偏移值？
-
我花了几个小时想弄清楚发生了什么，但没能找到解决办法。 这是我在一台机器上的设置： 1名zookeeper跑步 我正在使用kafka控制台生成器插入消息。如果我检查复制偏移量（
-
面试题 如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？ 面试官心理分析 其实这是很常见的一个问题，这俩问题基本可以连起来问。既然是消费消息，那肯定要考虑会不会重复消费？能不能避免重复消费？或者重复消费了也别造成系统异常可以吗？这个是 MQ 领域的基本问题，其实本质上还是问你使用消息队列如何保证幂等性，这个是你架构里要考虑的一个问题。 面试题剖析 回答这个问题，首先你别听到重复消息这个
-
Flink kafka消费者有两种类型的消费者，例如： 这两个消费者层次结构扩展了相同的类。我想知道维护编号类背后的设计决策是什么？我们什么时候应该使用其中一种？ 我注意到带有数字后缀的类有更多的特性（例如ratelimiting）。 https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka