当前位置: 首页 > 知识库问答 >
问题:

KafkaSpring启动偏移复位?

华子航
2023-03-14

在Kafka消费者中,自动偏移重置:最新和启用自动提交:false的主要目的是什么。

在Kafka consumer中,我是否可以在KafkaListner期间检查是否能够接收重复记录或处理以前的记录

在spring boot中创建消费者端时,需要记住的所有必要事项以及日志记录的所有重要事项是什么,以便日志记录具有一定的意义

共有1个答案

陈誉
2023-03-14

自动偏移重置的目的:最新

从话题的结尾而不是开头开始

... 和启用自动提交:false

因此,默认情况下,您的客户端(Spring)管理(或不管理)消费者的偏移量,而不是每500条消息自动进行一次。

回复:重复-您需要将所有记录持久存储在其他地方(内存或数据库中),以便正确检测或处理重复/以前的偏移量,而无需通过查找方法重绕消费者。

默认情况下,Spring Boot应设置足够的日志记录。

 类似资料:
  • 我有一个单一的Kafka消费者,它连接到一个有3个分区的主题。一旦我从Kafka那里得到一张唱片,我就想捕捉偏移量和分区。在重新启动时,我希望从上次读取的偏移量恢复使用者的位置 摘自Kafka文档: 每个记录都有自己的偏移量,因此要管理自己的偏移量,只需执行以下操作: 配置enable.auto.commit=false 下面是我的示例代码: 这是正确的做法吗?有没有更好的办法?

  • 我对Kafka0.11.0.0有意见 在Kafka0.10.2.1中我对此没有任何问题。我只在0.11.0.0版本中遇到这个问题。 我的使用者将auto.offset.reset设置为最早,而auto commit设置为false,因为我是手动提交的。Kafka数据存储在具有必要权限的非TMP目录中。broker配置的其余部分为默认配置。 我需要0.11.0.0版本的事务。我不知道问题出在哪里。这

  • 为什么该方法使用UTC时区()而不包括本地时间偏移量()?方法名称中的“ISO”指的是ISO 8601-它允许将“时区指定”表示为其格式的一部分。 换句话说,告诉我日期和时间,以及时区偏移量(通过)。但是只告诉我一个时区中的日期和时间-它丢弃了在区域设置中产生的时间信息。 也包括始发时区与UTC的偏移量不是很有意义吗?省略+/-hh:ss会丢失关于原始的信息(如果它用于序列化的话)。 我的所有AJ

  • 但是如果我们重新启动kafka服务器,使用者会重新读取已经提交的偏移量吗?或者这个选项在这样的情况下工作--服务器重新启动后,只会消耗未读的消息?

  • 我正在使用镜像制作器 2 进行灾难恢复。 Kafka 2.7 应支持自动消费者偏移同步 下面是我正在使用的yaml文件(我使用strimzi来创建它) 所有源群集主题都在目标群集中复制。还有…检查点。内部主题是在包含所有同步的源集群偏移量的目标集群中创建的,但我没有看到这些偏移量被转换为目标集群_consumer_offsets主题,这意味着当我在目标集群中启动消费者(同一消费者组)时,它将从一开