当前位置: 首页 > 知识库问答 >
问题:

kafka自定义使用者读取传入记录

华心思
2023-03-14

我使用新的API创建了一个kafka消费者(http://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/consumer/kafkaConsumer.html)

当前,使用者正在从最小的偏移量开始读取主题中的消息。我想重写这个以读取最新的偏移量。有什么关于如何做到这一点的指示吗?

共有1个答案

齐承泽
2023-03-14

一旦您开始为给定的使用者组读取消息,您将需要使用seekToEnd()方法显式地强制使用者到达它所跟随的分区的末尾。对于还没有读取任何消息的使用者组,您可以使用auto.offset.reset=maxon属性来告诉使用者在哪里读取其第一条消息。

 类似资料:
  • 当Kafka消费者从其分配的分区读取数据时,消费者提取线程是否使用任何特定的逻辑来从分区中获取数据?例如,读取器线程是否做了任何逻辑/努力来平等/一致地读取分配的分区?它是否从最滞后的分区获取更多记录?还是只是简单的循环式逻辑? 有关于消费逻辑的详细文档吗? 谢谢你。

  • 我有事务性的和正常的生产者在应用程序,是写到主题Kafka-主题如下。 事务性Kafka生产者的配置 普通生产者配置相同,只有ProducerConfig.client_id_config和ProducerConfig.Transactional_id_config未添加。 使用者配置如下 因为我将isolation.level设置为read_committed,所以它应该只使用来自订阅主题的事务

  • 基本要求: 熟悉 C++ 编程。 确保下载 TensorFlow 源文件, 并可编译使用。 我们将支持文件格式的任务分成两部分: 文件格式: 我们使用 Reader Op来从文件中读取一个 record (可以使任意字符串)。 记录格式: 我们使用解码器或者解析运算将一个字符串记录转换为TensorFlow可以使用的张量。 例如, 读取一个 CSV 文件,我们使用 一个文本读写器, 然后是从一行文

  • 自定义宏标记使用教程: 在模板制作中,经常遇到一些网站标签在多个页面调用的问题,通常情况下我们可以通过模板的{dede:include file='文件名称' ismake='是否为dede板块模板(yes/no)'/}标签导入一个文件解决,在DedeCMS的5.3版本默认模板中的head.htm就如通过这样的标记引入到其他模板文件,然后编译成页面头部信息的,但这样以文件形式引入的方式并不适用于少

  • 问题内容: 我正在尝试创建一种类似于英语的小型语言来指定任务。基本思想是将陈述分为动词和名词短语,这些动词应适用于它们。我正在使用nltk,但未获得我希望的结果,例如: 在每种情况下,它都未能意识到第一个单词(选择,移动和复制)被用作动词。我知道我可以创建自定义标签和语法来解决此问题,但是与此同时,当很多此类东西不在我的支持范围内时,我犹豫要重新发明轮子。我特别希望可以同时处理非英语语言的解决方案

  • 我们正在使用Kafka流将数据写入接收器主题。我正在运行一个avro消费者命令行来检查接收器主题中是否有数据: bin/kafka-avro控制台-消费者-主题sink.output.topic-从开始-新消费者-引导-服务器 当我在kafka streams应用程序运行时同时运行消费者时,我会看到数据,但如果我停止消费者并在几分钟后再次运行,我不会看到任何数据。几乎没有可能: 1) 这是因为Ka