KafkaStorm喷口：得到的提取请求偏移超出范围
...
2016-10-26 11:11:31.070 o.a.s.k.KafkaUtils [WARN] Partition{host=somehost.org:9092, topic=my-topic, partition=0} Got fetch request with offset out of range: [3]
2016-10-26 11:11:31.078 o.a.s.k.KafkaUtils [WARN] Partition{host=somehost.org:9092, topic=my-topic, partition=0} Got fetch request with offset out of range: [3]
2016-10-26 11:11:31.084 o.a.s.k.KafkaUtils [WARN] Partition{host=somehost.org:9092, topic=my-topic, partition=0} Got fetch request with offset out of range: [3]
2016-10-26 11:11:31.098 o.a.s.k.KafkaUtils [WARN] Partition{host=somehost.org:9092, topic=my-topic, partition=0} Got fetch request with offset out of range: [3]
2016-10-26 11:11:31.104 o.a.s.k.KafkaUtils [WARN] Partition{host=somehost.org:9092, topic=my-topic, partition=0} Got fetch request with offset out of range: [3]
2016-10-26 11:11:31.111 o.a.s.k.KafkaUtils [WARN] Partition{host=somehost.org:9092, topic=my-topic, partition=0} Got fetch request with offset out of range: [3]
...
Spout被配置为从zookeeper读取最后的提交偏移量，并且在此场景中，该偏移量大于Kafka中最新的消息偏移量。我们也在研究为什么主题偏移被重置。
目前我们通过观察Storm日志中的范围外警告来解决这个问题，删除zookeeper偏移条目，然后重新部署拓扑。
共有1个答案
在我的案例中，这是因为我重新创造了Kafka的主题，我的KafkaPout订阅了这个主题。
特定分区的偏移量保存在Zookeeper中，如果删除了一个主题，然后再次创建，您将不得不手动从Zookeeper中删除偏移量信息。
只需打开Zookeeper CLI，然后删除属于您的KafkaSpout的消费者'group-id'的'node'存在的路径。有关帮助，请访问https://www.tutorialspoint.com/zookeeper/zookeeper_cli.htm
-
我用Kafka壶嘴来消费信息。但是，如果我必须更改拓扑并上传，那么它将从旧消息恢复还是从新消息开始？Kafka壶嘴给了我们从哪里消费的时间戳，但我怎么知道时间戳呢？
-
我是Storm世界的新手。在我的拓扑中，我使用Kafka的数据，并使用。 通过一些测试，我得到了以下警告消息： 2015-10-01 23:31:51.753 s.k.KafkaUtils[警告]获取了偏移量超出范围的获取请求：[85970]2015-10-01 23:31:51.755 s.k.PartitionManager[警告]使用新偏移量：0 我的\\\\\\\\\\\\\\\\\\\\
-
我创建了以批处理方式接收消息的ConsumerConfig： Spring启动配置: 侦听器类 ： 我在处理消息后使用手动确认。 我找到了一些调试日志： 在上面的调试日志中，***获取偏移量发生在偏移量提交之前，该偏移量未提交，因此它返回offset_OUT_OF_RANGE，之后使用者无法接收任何消息。是否有任何方法处理使用者代码中的此错误，或如何仅在提交后获取偏移量****
-
问题内容： 我有一个 要求： 我想知道默认的超时时间是多少？以及如何将其设置为3秒或不定秒的特定值？ 问题答案： 它没有指定的默认值。该规范根本没有讨论超时。 通常，您可以为承诺实现自己的超时包装器： 如https://github.com/github/fetch/issues/175中所述 （https://github.com/mislav）
-
试图了解发生这种情况时会发生什么。如果我们试图读取的偏移量丢失（我假设是因为kafka GC'ed the offet）和＜code＞auto.offset。reset=latest我们是否跳过数据到最新偏移量？ 避免数据丢失的安全配置是什么？
-
这是关于让生产者知道消息是否已被消费者消费的用例。 我的想法是，每次消费消息时，消费者都会提交偏移量，生产者可以跟踪和读取当前偏移量，以查看是否消费了相应的消息。 此外，请不要犹豫，让我知道这是否是处理用例的正确方法，因为我没有Kafka的经验。我知道Kafka不是为这种方式设计的（处理上述用例），但我必须坚持使用Kafka。