我使用了一个Kafka主题,它也是我应用程序中的元数据。我从zookeeper shell中硬删除了该主题,方法是删除与该主题相对应的目录。再次创建话题后,我描述了话题,发现这个新创建的话题还没有分配领导。在consumer中,我可以看到重复的日志打印leader_not_available
。为什么我做错了什么?或者,是否有一种方法可以删除与Kafka主题相关的元数据,而我并不知道?提前道谢!
在Kafaka中删除话题直到最近才变得直截了当。通常,您不应该试图通过删除Zookeeper中的元数据来删除Kafka主题。您应该始终使用包含的命令行实用工具。
首先,您需要确保在所有代理的server.properties
文件中启用了删除主题,并在需要时执行滚动重新启动:
delete.topic.enable=true
重新启动代理以启用主题删除后,应使用命令行实用工具发出delete
命令:
./kafka-topics.sh —zookeeper <zookeeper_host>:2181 —delete —topic <topic_name>
rmr /brokers/topics/<topic_name>
rmr /admin/delete_topics/<topic_name>
在为Apache Kafka创建主题时,什么是最佳实践<每个人都允许自动创建主题吗?或者你是如何做到的?您是否将主题创建步骤与kafka实例的开始捆绑在一起 我有一个基于docker的Kafka安装,它已经被多个应用程序使用了。如何将每个应用程序的主题创建与Kafka容器的启动分开?。在Confluents音乐演示中,他们通过旋转一个新的Kafka图像来创建主题,调用“创建主题脚本”,然后让容器消
我见过,但对于我的(简单的)用例来说,它似乎有些过头了。 我也知道,但我不想仅仅为此编写和维护代码。 我的问题是:有没有一种方法可以用kafka原生工具实现这个主题调度,而不用自己写一个Kafka-Consumer/Producer?
我使用的是Kafka版本0.8.2。在开发过程中,我想我可能需要删除一个主题。所以我所做的是在服务器配置文件中放入以下一行,并启动两台kafka服务器。 当我需要删除一个主题并运行以下命令时, 现在距我运行“删除主题”命令已经17个小时了,但Kafka仍在向我显示该主题已标记为删除。是Kafka的虫子还是我在这里做错了什么?因为在我看来这不正常。有人能就此澄清一下吗?
可能是Kafka的复制品——该服务器不是该主题分区的领导者,但没有公认的答案,也没有明确的解决方案。 我有一个简单的java程序来向Kafka传达信息: 我得到了以下例外: 当我尝试使用时,我得到以下错误: 当我描述我的主题时,我有以下信息: 我试着创建一个新的主题,并按照《快速入门指南》中提到的那样生成消息,然后上述步骤都很有效。 我应该在或producer configuration(生产者配
我有一个关于主题偏移在Kafka中是如何工作的问题,它们是否存储在Kafka中的B树状结构? 我要求它的具体原因,让我们说我有一个主题,在主题中有1000万条记录,这将意味着1000万偏移,如果没有发生压缩或关闭,现在如果我使用consumer.seek(5000000),它将像LinkList的意思是,它将转到0偏移量,并尝试从那里跳到第500000个偏移量,或者它确实有类似索引的结构,可以准确
我们从每个kafka机器的中得到了许多错误(集群中有kafka) 根据我的理解,每个主题都由一个或多个经纪人服务--一个是领导者,其余的经纪人是追随者。