Kafka偏移量值在消费者偏移量和实际主题偏移量之间不同
为什么实际主题中的偏移值与同一主题中的偏移值不同？PFB偏移位置以及使用的命令。
__consumer_offsets_13
=====================================
[root@node1 __consumer_offsets-13]# /opt/kafka_2.11-0.10.1.1/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --deep-iteration --print-data-log --files ./00000000000000000000.log | tail -n 5
_offset: 41368_ position: 4190035 CreateTime: 1532888732120 isvalid: true payloadsize: 28 magic: 1 compresscodec: NoCompressionCodec crc: 1789813648 keysize: 43 key: my_consumer_groupmy_topic payload: Ad�I��d�p-�
my_topic
=====================================
[root@node1 __consumer_offsets-13]# /opt/kafka_2.11-0.10.1.1/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --deep-iteration --print-data-log --files ../my_topic-0/00000000000000000000.log | tail -n 5
offset: 2080 position: 315620 CreateTime: 1532891670673 isvalid: true payloadsize: 118 magic: 1 compresscodec: NoCompressionCodec crc: 744326405 payload: {message_content_1}
_offset: 2081_ position: 315772 CreateTime: 1532891670673 isvalid: true payloadsize: 118 magic: 1 compresscodec: NoCompressionCodec crc: 2573656188 payload: {message_content_2}
我错过了什么？
共有1个答案
Kafka工具。DumpLogSegments工具打印日志的内容。
针对消费者偏移量运行时看到的偏移量是包含消费者组偏移量的消息的偏移量。这不是消费群体的抵消！
消费者组的实际偏移量包含在该消息的有效负载中。在输出中，它显示为有效载荷：Ad�我��d�p-� 因为它需要解码。
如果要打印__consumer_offsets的内容，请参阅Kafka如何从__consumer_offsets主题中读取。
-
我正在使用Kafka2.0版和java消费者API来消费来自一个主题的消息。我们使用的是一个单节点Kafka服务器，每个分区有一个使用者。我注意到消费者正在丢失一些消息。场景是：消费者投票主题。我为每个线程创建了一个消费者。获取消息并将其交给处理程序来处理消息。然后使用“至少一次”的Kafka消费者语义来提交Kafka偏移量来提交偏移量。同时，我有另一个消费者使用不同的group-id运行。在这个
-
我有一个话题是两个消费群体消费的。题目中有10条留言。 现在我开始应用程序2（消费者组2)，它正在消费相同的主题。它不在处理消息。当我描述kafka-consumer-groups（带有--group consumerGroup2)时，它令人惊讶地显示CURRENT-OFFSET=10和LOG-END-OFFSET=10。 理想情况下，这种情况不应该发生，并且kafka应该能够识别对于消费者组2没
-
我有Kafka流应用程序。我的应用程序正在成功处理事件。 如何使用重新处理/跳过事件所需的偏移量更改Kafka committed consumer offset。我试过如何更改topic？的起始偏移量？。但我得到了“节点不存在”错误。请帮帮我。
-
null 当侦听器处理记录后返回时提交偏移量。 如果侦听器方法抛出异常，我会认为偏移量不会增加。但是，当我使用下面的code/config/command组合对其进行测试时，情况并非如此。偏移量仍然会得到更新，并且继续处理下一条消息。 我的配置： 验证偏移量的命令： 我使用的是kafka2.12-0.10.2.0和org.springframework.kafka:spring-kafka:1.1
-
试图理解消费者补偿和消费者群体补偿之间的关系。 下面的堆栈溢出链接提供了对消费群体补偿管理的极好理解<什么决定Kafka消费补偿？现在问题来了， 情节： 我们在一个消费者组组1中有消费者（c1）。 偏移值是否将存储在消费者（c1）和组（group1）两个级别？或者如果消费者属于任何消费者组，偏移量将存储在仅消费者组级别？ 如果偏移值将存储在两个级别中，它是否是消费者级别偏移值将覆盖消费者组级别偏移
-
我对SpringBoot中的Kafka批处理侦听器有问题。 这是@KafkaListener 对于我的问题，这个解决方案不起作用，因为提交批处理。对于我的解决方案，我需要提交单个消息的偏移量。 我尝试使用