当前位置: 首页 > 知识库问答 >
问题:

清除Kafka主题

田博超
2023-03-14
kafka.common.InvalidMessageSizeException: invalid message size

增加fetch.size在这里并不理想,因为我实际上并不想接受那么大的消息。

共有1个答案

花稳
2023-03-14

将主题的保留时间临时更新为1秒:

kafka-topics.sh --zookeeper <zkhost>:2181 --alter --topic <topic name> --config retention.ms=1000

在较新的Kafka版本中,还可以使用kafka-configs--entity-type topics来实现

kafka-configs.sh --zookeeper <zkhost>:2181 --entity-type topics --alter --entity-name <topic name> --add-config retention.ms=1000

然后等待清洗生效(大约一分钟)。清除后,恢复以前的retention.ms值。

 类似资料:
  • 我在本地计算机上将一条太大的消息推送到Kafka消息主题中,现在我收到一个错误: 增加在这里并不理想,因为我实际上不想接受那么大的消息。

  • 希望在2.1.0版本中分享清除或删除Kafka主题的不同方法。我在这里发现了类似的问题清除Kafka主题,然而,接受的答案已被弃用,它适用于Kafka版本0.8及以下,因此创建了这个问题的答案。 这不是一个重复的问题。

  • 拆除 Ceph 守护进程并卸载软件包后,此主机上可能还有集群中的数据, purge 和 purgedata 命令提供了一种清理主机的简便方法。 purgedata 如果只想清除 /var/lib/ceph 下的数据、并保留 Ceph 安装包,可以用 purgedata 命令: ceph-deploy purgedata {hostname} [{hostname} ...] purge 要清理掉

  • 但是,这将导致以下消息: 如何删除此主题?

  • 我想删除所有空的Kafka主题(定期从cron)。我在文档中找不到一个这样做的命令?转到脚本: 但是,这包括已经过期的消息?在不使用消费者的情况下,如何在主题中找到实际的当前计数?

  • 我有一个问题,来自一个消费群体的许多Kafka客户端没有正确关闭,因此Kafka集群认为它们仍然是连接的。因此,我无法使用新版本的客户端连接到消费者组。会卡在再平衡这一步。 根据文档,应在< code>session.timeout.ms或maximum < code > group . max . session . time out . ms 之后删除它们。起初我试图将< code>sessi