Kafka车轮定时器

Question

好日子，

我想知道kafka队列是否可以保存数据几秒钟并释放数据。

我收到一条来自Kafka主题的消息，解析完数据后，我将其保存在内存中一段时间（10秒）（这会随着唯一消息的出现而增加），每条消息都有自己的计时器），我希望Kafka告诉我该消息已过期（10秒），以便我可以继续执行其他任务。

但由于Flink/Kafka是事件驱动的，我希望Kafka有某种圆形计时轮，可以在10秒后向消费者复制信息的关键。

关于如何使用闪烁窗口或Kafka功能存档这个有什么想法吗？

当做

Answer 1

您可以近距离查看Kafka流库。https://kafka.apache.org/21/documentation/streams/developer-guide/dsl-api.html，则，https://kafka.apache.org/21/documentation/streams/developer-guide/processor-api.html.

使用Kafka流可以完成许多复杂的事件处理工作。Processor API是较低级别的API，为您提供了更大的灵活性，例如将每个处理消息放入状态存储（Kafka Streams抽象，复制到changelog主题），然后使用标点符号检查消息是否过期。

Answer 2

关于您最初的问题：

我想知道kafka队列是否可以保存数据几秒钟，然后释放数据

您可以将log.cleanup.policy设置为delete（这是默认设置），并将retention.ms从默认604800000（1周）更改为10000。

你能再解释一下你还想检查什么吗？在这部分之后你是什么意思？