使用Storm从kafka获取消息

Question

如何从动物园管理员那里获得最后一次偏移时间？当使用Storm喷口阅读来自Kafka的消息时。上下文：Kafka 不断获取消息，使用者读取一段时间，然后由于任何原因关闭，然后使用者仅读取最新消息，但不读取上次偏移量读取

Answer 1

消费者阅读一段时间，然后由于任何原因关闭

不知道你到底指的是什么，因为消费者应该无限运行，除非它被明确停止。

现在假设您使用的是Storm的KafkaSpout实现，有一个名为forceStartOffsetTime的配置用于强制spout倒带到以前的偏移。使用方法如下

    spoutConfig.forceStartOffsetTime(-2);

如文档页面所示

它将选择围绕该时间戳写入的最新偏移量以开始使用。您可以通过传入 -1 来强制 Spout 始终从最新的偏移量开始，也可以通过传入 -2 来强制它从最早的偏移量开始。

因此，将其设置为-2将始终强制它从一开始就读取您正在使用的配置，如果您可以发布一些代码，那就太好了。