Golang删除Kafka中某个主题的所有记录
你好，我正在写一个服务围棋和Kafka，我需要实现一个删除所有endpoint，将删除所有记录从一个特定的主题。然而，我找不到一个合适的方法来做到这一点。我使用Sarama库为Kafka。
到目前为止，我能找到实现删除所有的唯一两种方法是删除主题，这似乎不是处理这个问题的有效方法，第二种方法是使用Sarama库中的DeleteRecords函数，但是这函数删除偏移量小于相应分区给定偏移量的记录。这意味着我必须先得到最新的偏移量。
基本上，我在寻找做这件事的最佳方式。有人能帮我吗？最佳实践是什么？也许我错过了什么。我真的很想举一些例子。非常感谢。
共有1个答案
如果您想删除所有消息，另一种方法是将主题的保留率降低到一个小值（例如100ms）。等待代理从主题中删除所有记录，然后将主题保留设置为其原始值。下面是如何做到这一点。
首先，将保留时间设置为100毫秒。
kafka-configs --zookeeper localhost:2181 \
--entity-type topics \
--entity-name my-topic \
--alter --add-config retention.ms=100
替代解决方案：
删除一个主题并再次创建它不像前两种方法那样优雅，但在某些情况下（例如，如果主题创建是脚本化的），它可能是一个更容易的解决方案。
kafka-topics --bootstrap-server localhost:9092 \
--topic my-topic \
--delete
然后再创建一次：
kafka-topics --bootstrap-server localhost:9092 \
--topic my-topic \
--create \
--partitions <number_of_partitions> \
--replication-factor <replication_factor>
-
我看过与此相关的类似问题，但并没有找到正确的答案。我只想从 Kafka 主题中删除消息，而不是更改保留超时。我已经安装了kafka_2.11-0.8.2.1，并使用蝙蝠文件在Windows上运行它。我想知道我是否可以删除主题中发布的所有消息，而不删除整个主题。
-
有没有办法从Kafka主题中删除单个记录？我知道有一个脚本kafka-delete-records.sh删除指定主题和分区上指定偏移量之前的记录，但是我希望能够删除我指定的偏移量上的记录。有办法做到吗？ 这不是在Java而是在裸露的Kafka实例上。
-
我有几个Kafka的题目作为测试。现在我想通过清理我的Kafka主题列表来把它们全部除掉。我设置了变量，然后停止并重新启动zookeeper和kafka服务器。但什么也帮不了我。主题仍然存在，“标记为删除”。我读了这个问题，但没有找到任何答案。否则，这里建议手动移除任何主题。但我该怎么做呢？在故事的结尾，手动或通过命令行，我如何永久删除Kafka主题？
-
但是,这将导致以下消息： 如何删除此主题？
-
我正在使用kafka:Kafka2.12-2.1.0，在客户端使用spring kafka，但遇到了一个问题。 我需要通过阅读Kafka主题中的所有现有消息来加载内存中的映射。为此，我启动了一个新的使用者（具有唯一的使用者组id，并将偏移量设置为)。然后我迭代使用者（poll方法）以获取所有消息，并在使用者记录变为空时停止。 我尝试了很少的其他方法（比如使用偏移量数），但还没有找到任何解决方法，除
-
我想删除所有空的Kafka主题（定期从cron）。我在文档中找不到一个这样做的命令？转到脚本： 但是，这包括已经过期的消息？在不使用消费者的情况下，如何在主题中找到实际的当前计数？