当前位置: 首页 > 知识库问答 >
问题:

Kafka最早和最新偏移值之间的区别是什么

仲孙夕
2023-03-14

生产者发送消息1、2、3、4

使用者接收消息1、2、3、4

使用者崩溃/断开连接

生产者发送消息5、6、7

对于这种结果,我必须使用哪个offset值,以及其他更改/配置需要做什么

共有1个答案

司寇山
2023-03-14

当使用者加入使用者组时,它将获取最后提交的偏移量,因此如果在崩溃之前提交了最新的偏移量(SO4),它将重新启动以从5、6、7读取。auto.offset.reset属性的最早最新值在使用者启动但分配的分区没有提交偏移量时使用。在这种情况下,您可以选择是要从开始(最早)重新阅读所有消息,还是在最后一个消息之后(最近一个)重新阅读所有消息。

 类似资料:
  • 相反,我需要做的是将更改为新的内容,然后它将从最早的偏移量恢复。 会不会有其他的犯罪行为? 更新 根据我的理解,这看起来像是每次auto commit enable为false时,它都将提交偏移量。这是Camel Kafka组件的一个特性,因为即使启用了自动提交,它也将在x条消息之后同步

  • 问题内容: 输出: 为什么自我中不存在“ f”。dict 问题答案: 不仅仅是查找 首先,是一种API方法,它知道如何使用属性来查找对象的属性。 但是,并非所有对象都具有属性。例如,如果要向自定义类添加属性,则该类的实例将没有属性,但仍可以列出这些实例上的可用属性: 同样适用于许多内置类型。没有属性,但是您仍然可以使用列出所有属性: 实例有什么用 Python实例具有自己的,但它们的类也有: 该方

  • 本文向大家介绍Kafka和Flume之间的主要区别是什么?相关面试题,主要包含被问及Kafka和Flume之间的主要区别是什么?时的应答技巧和注意事项,需要的朋友参考一下 答:Kafka和Flume之间的主要区别是: 工具类型 Apache Kafka——Kafka是面向多个生产商和消费者的通用工具。 Apache Flume——Flume被认为是特定应用程序的专用工具。 复制功能 Apache

  • 问题内容: 以下两个查询给出完全不同的结果的原因是什么? 我已经在Google周围搜索了反引号和撇号(又称为单引号)之间的区别,但是我找不到任何迹象表明为什么对于像上列这样的列名它们会有不同的解释。 难道实际上不是将后一个查询中的单引号字符串解释为列名,而是解释为任意字符串文字,可以说其为“ 1”吗?如果是这样,要找到任何有关撇号含义的页面并不容易。 问题答案: “价格”(撇号或引号)是一个字符串

  • 如上所述,我目前正在设置一个Kafka Connect Sink,将数据从Kafka传输到Google云存储中。 然而,一切都进展顺利——它只使用最新的可用偏移量。也就是说,一旦它开始运行,它只将新产生的消息下沉到GCS,而不是来自Kafka的已经存在的消息。我已经尝试删除kafka连接存储/偏移主题,创建一个新的连接器名称等。但是,它总是从最新的偏移量开始。 如果无论如何要为Kafka Conn

  • 问题内容: 我一直在 java中的和关键字之间感到困惑。 __ 它们有何不同? 问题答案: static关键字可以在4种情况下使用 静态变量 静态方法 静态代码块 静态嵌套类 首先让我们看一下静态变量和静态方法。 静态变量 它是一个属于类而不属于对象(实例)的变量。 静态变量在执行开始时仅初始化一次。在初始化任何实例变量之前,将首先初始化这些变量。 该类的所有实例共享的单个副本。 静态变量可以通过