是否有一个选项可以删除Kafka主题中超过一小时的留言
是否有一个选项可以删除Kafka在一个主题中超过一个小时的旧消息。在一个主题中只需要持续一个小时的消息。Kafka监制会在每一分钟接受留言成为一个话题。我需要消耗当前主题中最近一个小时的数据。1.是否有一个选项可以删除主题中超过一个小时消息，需要在主题中保留少于一个小时的数据2。是否有一个选项从一个主题读取最后一个小时的数据，主题有一天的全部数据
共有1个答案
您可以在单个主题上设置retention.ms，也可以在代理上设置log.retention.ms，以覆盖默认的一周保留时间。
否则，在Kafka 0.10.2之后，您的消费者还可以通过时间戳寻求一个偏移量，因此您必须根据当前时间（减去一个小时）查找从哪里消费
-
ConsumerThread1-[topic1-0,topic2-0,topic3-0] ConsumerThread2-[topic1-1,topic2-1,topic3-1] 但是，我们希望每个主题有一个使用者线程，而不是每个分区有一个KafkaListener（或使用者线程）。例如： ConsumerThread1-[topic1-0,topic1-1] ConsumerThread2-[t
-
我是使用Kafka的新手，我有一个问题。如果我知道主题、偏移量和分区，我可以只删除一条消息吗？如果没有，还有什么其他选择吗？
-
有没有一种方法可以从一个主题中删除所有的数据，或者在每次运行之前删除主题？ 我可以修改kafkaconfig.scala文件以更改属性吗？有没有一种方法可以在消费者阅读后立即删除这些消息？ 我正在使用生产者从某个地方获取数据，并将数据发送到消费者消费的特定主题，我可以在每次运行时删除该主题中的所有数据吗？我只想在主题中每次都有新的数据。有什么方法可以重新初始化主题吗？
-
但是,这将导致以下消息： 如何删除此主题？
-
我看过与此相关的类似问题，但并没有找到正确的答案。我只想从 Kafka 主题中删除消息，而不是更改保留超时。我已经安装了kafka_2.11-0.8.2.1，并使用蝙蝠文件在Windows上运行它。我想知道我是否可以删除主题中发布的所有消息，而不删除整个主题。
-
你好，我正在写一个服务围棋和Kafka，我需要实现一个删除所有endpoint，将删除所有记录从一个特定的主题。然而，我找不到一个合适的方法来做到这一点。我使用Sarama库为Kafka。 到目前为止，我能找到实现删除所有的唯一两种方法是删除主题，这似乎不是处理这个问题的有效方法，第二种方法是使用Sarama库中的函数，但是这函数删除偏移量小于相应分区给定偏移量的记录。这意味着我必须先得到最新的偏