当前位置: 首页 > 知识库问答 >
问题:

如何配置kafka删除消息的设置?

程祯
2023-03-14

我正在使用Kafka(与雅虎Kafka经理)

我想为重置消息设置一个规则,或者他们如何称呼它:“分区偏移量的总和”

在server.properties上是否有滚动kafka偏移量的参数?

(即:我想重置或删除所有影响邮件保留的参数)

谢谢。

共有1个答案

严令秋
2023-03-14

您不能通过在主题创建后更改默认值来更改主题保留策略。删除保留是根据主题而定的,如果创建时没有给出,则使用默认值。

如果你想动态地改变主题保留策略,你可以使用下面的命令;

./kafka-topics.sh --zookeeper your_server_ip:2181 --alter --topic your_topic_name --config retention.ms=604800000

这将需要几分钟才能生效。

 类似资料:
  • 我目前使用的是Kafka0.9.0.1。根据我找到的一些来源,设置消息大小的方法是修改中的以下键值。 message.max.bytes replica.fetch.max.bytes fetch.message.max.bytes 我的文件实际上有这些设置。 其他可能相关的设置如下。 但是,当我试图发送具有4到6 MB大小的有效负载的消息时,使用者永远不会得到任何消息。生产者似乎在发送消息时没有

  • 使用Kafka Streams,我们无法确定在处理写入接收器主题的消息后压缩这些消息所需的配置。 另一方面,使用经典的Kafka Producer,可以通过在KafkaProducer属性上设置配置“compression.type”轻松实现压缩 然而,似乎没有任何记录在案的Kafka Streams压缩处理过的消息的例子。 至于这次(2019年初),有没有一种方法可以使用Kafka流进行压缩?

  • 我没有找到任何关于Debezium如何设置Kafka消息时间戳的文档,以及是否设置了时间戳。 通过比较这些值,Kafka消息的时间戳总是在数据库表(source.ts_ms)更改的时间戳之后,也在Debezium(ts_ms)处理更改的时间之后。这表明Kafka消息时间戳只是Kafka代理设置为摄入时间的时间戳。 有人知道关于Debezium是否以及如何在其填充的接收器主题中设置Kafka消息时间

  • 我正在测试Kafka主题的工作,但我不明白删除是如何工作的。 我创建了一个简单的主题 在此之后,我创建了一个生产者,并发送了一些消息。消费者没有问题地接收到消息。但我预计,一分钟后,如果重复了消费者,它不会显示消息,因为它们肯定已经被删除了。但这种行为不会发生。 如果我用ksql创建一个查询,那也是一样的。消息总是会出现。 我想我不明白删除是怎么回事。 3)制作人留言 4)消费者 消费者会显示这四

  • 我创建了一个制作人和一个消费者,使用“Kafka节点”包发送和消费Kafka主题的消息。生产者和消费者通过API进行调用。POST方法用于向主题发送消息,而GET方法用于在消费者处从主题获取消息。 当我向KAFKA发送消息后调用consumer API时,之前的所有消息都会在。 我只需要最后一条消息,这是生产者发送的。 如何在不使用任何数组或任何东西的情况下获取最后一条消息。 有没有办法删除这个话

  • 因此,我是使用Apache Kafka的新手,我正在尝试创建一个简单的应用程序,以便我可以尝试更好地理解API。我知道这个问题在这里被问了很多,但是我该如何清除存储在主题上的消息/记录? 我看到的大部分回答都是说更改消息保留时间或者删除