当前位置: 首页 > 知识库问答 >
问题:

运行时消耗 kafka Spring引导中偏移量的记录

郜俊健
2023-03-14

我想从 Kafka 运行时传递参数(偏移量)中读取记录。我正在使用@KafkaListener但在这种情况下,我无法设置用户请求的偏移运行时。如果未传递偏移量,它将消耗最新记录。任何帮助,不胜感激。

共有1个答案

长孙翔
2023-03-14

最新的 2.8 版本具有一项新功能,您可以在其中使用 KafkaTemplate 接收特定偏移量的特定记录。

https://docs.spring.io/spring-kafka/docs/current/reference/html/#kafka-template-receive

如果要接收来自该偏移量的所有记录,请使用容器提供的查找机制。

https://docs.spring.io/spring-kafka/docs/current/reference/html/#seek

 类似资料:
  • 在Kafka消费者中,自动偏移重置:最新和启用自动提交:false的主要目的是什么。 在Kafka consumer中,我是否可以在KafkaListner期间检查是否能够接收重复记录或处理以前的记录 在spring boot中创建消费者端时,需要记住的所有必要事项以及日志记录的所有重要事项是什么,以便日志记录具有一定的意义

  • 有时,kafka节点消费者从偏移量0开始消费,而其默认行为是仅消费较新的消息。然后它将不会切换回默认行为。你知道如何解决这个问题吗?会发生什么,它的行为会突然改变?代码非常简单,而且不会改变代码。 到目前为止,我找到的唯一解决办法是改变Kafka话题。然后一切又正常了。有什么想法吗?

  • 我是流媒体代理(如Kafka)的新手,来自排队消息系统(如JMS、Rabbit MQ)。 我从Kafka文档中读到,消息作为记录存储在Kafka分区的偏移量中。消费者从偏移量读取。 消息和记录有什么区别[多个/部分消息是否构成记录?] 当消费者从偏移量读取时,消费者是否有可能读取部分消息?消费者是否需要基于某种逻辑将这些对等消息串起来? 或 1条消息=1条记录=1个偏移量 之所以会出现这个问题,是

  • 我有一个UTC的时间戳。我将其转换为本地时间。我的时区是CET/CEST。 由于我的时区,系统会自动应用正确的偏移量:如果我在夏天转换时间戳,它会自动添加2小时(无论何时转换),如果在冬天,它会添加1小时。 到目前为止-很好。 现在,我想基于另一个引用的时间戳转换UTC时间戳。如果引用在夏季,则应始终添加2小时-无论转换的时间戳是夏季还是冬季-如果引用在冬季,则应始终添加1小时。 那么,如果我的系

  • 为什么实际主题中的偏移值与同一主题中的偏移值不同?PFB偏移位置以及使用的命令。 我错过了什么?

  • 问题内容: 只是在我编辑我的作品时注意到了这种细微差别。 以前,matplotlib如下所示: 但经过最近的升级我相信,有抵消,这会回来 这样地 从我现在看到的情况来看,这有点不必要。我想知道 1在数据可视化中,这个偏移量是否是一个好的实践?如果是这样的话,我就不做了。 2如何抵消这种抵消? 我可以手动恢复限制,但是 如果我再有20块地的话就不会扩大规模了。我搜索了一下,没有找到 这方面的信息太多

  • 我有一个Kafka消费者,我从它消费数据从一个特定的主题,我看到下面的例外。我使用的是Kafka版本。 我添加了这两个额外的消费者属性,但仍然没有帮助: 那个错误意味着什么?我该如何解决它?我需要添加一些其他消费者属性吗?

  • 我对非常陌生,我们正在使用。 我需要做的是使用来自主题的消息。为此,我必须用Java编写一个消费者,它将消费来自主题的消息,然后将该消息保存到数据库。保存消息后,将向Java消费者发送一些确认。如果确认为true,则应使用主题中的下一条消息。如果AcknowlDement为false(这意味着由于某些错误消息,从主题读取的信息无法保存到数据库中),则应再次读取该消息。 我认为我需要使用<code>