kafka.common.InvalidMessageSizeException: invalid message size
增加fetch.size
在这里并不理想,因为我实际上并不想接受那么大的消息。
将主题的保留时间临时更新为1秒:
kafka-topics.sh --zookeeper <zkhost>:2181 --alter --topic <topic name> --config retention.ms=1000
在较新的Kafka版本中,还可以使用kafka-configs--entity-type topics
来实现
kafka-configs.sh --zookeeper <zkhost>:2181 --entity-type topics --alter --entity-name <topic name> --add-config retention.ms=1000
然后等待清洗生效(大约一分钟)。清除后,恢复以前的retention.ms
值。
我在本地计算机上将一条太大的消息推送到Kafka消息主题中,现在我收到一个错误: 增加在这里并不理想,因为我实际上不想接受那么大的消息。
希望在2.1.0版本中分享清除或删除Kafka主题的不同方法。我在这里发现了类似的问题清除Kafka主题,然而,接受的答案已被弃用,它适用于Kafka版本0.8及以下,因此创建了这个问题的答案。 这不是一个重复的问题。
拆除 Ceph 守护进程并卸载软件包后,此主机上可能还有集群中的数据, purge 和 purgedata 命令提供了一种清理主机的简便方法。 purgedata 如果只想清除 /var/lib/ceph 下的数据、并保留 Ceph 安装包,可以用 purgedata 命令: ceph-deploy purgedata {hostname} [{hostname} ...] purge 要清理掉
但是,这将导致以下消息: 如何删除此主题?
我想删除所有空的Kafka主题(定期从cron)。我在文档中找不到一个这样做的命令?转到脚本: 但是,这包括已经过期的消息?在不使用消费者的情况下,如何在主题中找到实际的当前计数?
我有一个问题,来自一个消费群体的许多Kafka客户端没有正确关闭,因此Kafka集群认为它们仍然是连接的。因此,我无法使用新版本的客户端连接到消费者组。会卡在再平衡这一步。 根据文档,应在< code>session.timeout.ms或maximum < code > group . max . session . time out . ms 之后删除它们。起初我试图将< code>sessi