Storm拓扑生成异常
我正在尝试使用storm spout作为Kafka消费者将我的数据从Kafka主题发送到HBase，并将数据发送到HBase我在storm拓扑中遇到异常。。。。
java.lang.RuntimeException: java.lang.RuntimeException: No leader found for partition 0 at
storm.kafka.DynamicBrokersReader.getBrokerInfo(DynamicBrokersReader.java:81)
at storm.kafka.trident.ZkBrokerReader.<init>(ZkBrokerReader.java:42) at storm.kafka.KafkaUtils.makeBrokerReader(KafkaUtils.java:57)
at storm.kafka.KafkaSpout.open(KafkaSpout.java:87) at backtype.storm.daemon.executor$fn__5629$fn__5644.invoke(executor.clj:542)
at backtype.storm.util$async_loop$fn__452.invoke(util.clj:463)
at clojure.lang.AFn.run(AFn.java:24) at java.lang.Thread.run(Thread.java:745) Caused by: java.lang.RuntimeException: No leader found for partition 0
at storm.kafka.DynamicBrokersReader.getLeaderFor(DynamicBrokersReader.java:120)
at storm.kafka.DynamicBrokersReader.getBrokerInfo(DynamicBrokersReader.java:68) ... 7 more
共有1个答案
你的Kafka主题有问题。第一行：
No leader found for partition 0
是这里的关键。
你必须深入研究Kafka，修正这个话题，让它有一个作为领导者的经纪人。
-
我正在尝试使用Eclipse在Linux中运行Storm启动示例。我收到以下错误和函数从未被调用。 错误： 我的拓扑类： 我正在虚拟机环境中工作，所以不知道这是否是由于安装了Zookeeper。有什么想法吗？
-
8台机器一直在使用。每一个都有22个核心和512 GB的RAM。但是，我们的代码运行得真的很慢。传输600万个数据需要10分钟才能完成。 60个文件中的10 MB在一秒钟内传输到HDFS。我们正在努力优化我们的代码，但很明显我们做了一些非常错误的事情。 对于蜂巢表，我们有64个桶。 在HDFS喷口；.setmaxextending(50000)； 在蜂巢喷口选项；.WithTxNsperBatch
-
如何为storm拓扑提供自定义配置？例如，如果我构建了一个连接到MySQL集群的拓扑，并且我希望能够更改需要连接到哪些服务器而不需要重新编译，我将如何做到这一点？我更喜欢使用配置文件，但我担心文件本身没有部署到集群中，因此它不会运行（除非我对集群工作方式的理解有缺陷）。到目前为止，我所看到的在运行时将配置选项传递到storm拓扑的唯一方法是通过命令行参数，但当您获得大量参数时，这将是混乱的。 有一
-
我是阿帕奇Storm的新手。我已经在intellij中用java创建了一个storm项目，它成功地创建了一个本地集群，并将拓扑提交给它，然后在本地运行。我想在亚马逊EC2上运行这个Storm项目。我跟踪了https://github.com/nathanmarz/storm-deploy/wiki链接。跟随链接成功发射了2个主管，1个动物园管理员和1个灵光。现在我想在服务器上运行我的拓扑。这是我在
-
我读了很多和Storm有关的网站。但我仍然无法将拓扑结构完美地映射到Storm集群中。 请帮助我理解这一点。 在Storm集群中有这样的术语 null null null 所有这些都要用Storm集群来映射。我已经在一个项目里工作了。所以我知道拓扑结构。
-
我正在运行一个3节点的Storm集群。我们正在提交一个包含10个工作者的拓扑结构，以下是拓扑结构的详细信息 我们每天处理800万到1000万个数据。问题是topolgy只运行了2到3天，而我们在kafka spout中看到了一些失败的元组，没有处理任何消息。当提交新的topolgy时，它工作良好，但在2到3天后，我们又看到了同样的问题。有人能给我们一个解决方案吗。下面是我的storm配置