Spout不在Storm集群模式下读取/发射数据
我在本地模式和集群模式下都使用apache storm 1.1.0。对于喷口，我正在阅读Kafka主题中的数据（我使用的是Kafka2.11-0.8.2.1)。当我在本地模式下使用storm时，Spout会读取kafka主题中的数据，并且也会发出数据，但当我在集群模式下运行storm时，Spout不会发出任何数据。
brokerHosts = new ZkHosts(kafkaZookeeper);
SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, kafkaTopicIn, "", "storm");
kafkaConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new KafkaSpout(kafkaConfig), 2);
storm.zookeeper.servers:
- "localhost"
storm.zookeeper.port: 2181
nimbus.seeds: ["localhost"]
storm.local.dir: "/tmp/storm"
知道为什么topology spout在集群模式下不发射任何数据吗？如有任何帮助，将不胜感激。
共有1个答案
作为您的步骤，我没有看到您在将拓扑提交到生产/集群模式之前启动了nimbus、supervisor和UI，然后在storm UI中验证这个集群，如果有错误也检查日志文件。
请分享此信息。
-
我有一个storm拓扑，分为两个节点。一个是光环，另一个是主管。 不属于storm的代理接受来自客户端的HTTP请求，并将其传递给storm拓扑。 拓扑是这样的：1.代理将数据传递给一个Storm喷口2.喷口将数据传递给多个螺栓3.结果由最后一个螺栓传回代理。 我正在运行代理并将数据传递给storm。我能够在拓扑端将套接字连接到侦听器。喷口发出的数据在UI中显示为0。同样的拓扑在本地模式下也可以正
-
我读了很多和Storm有关的网站。但我仍然无法将拓扑结构完美地映射到Storm集群中。 请帮助我理解这一点。 在Storm集群中有这样的术语 null null null 所有这些都要用Storm集群来映射。我已经在一个项目里工作了。所以我知道拓扑结构。
-
最近我正在开发一些针对storm拓扑的计时工具，但是对于storm集群中的数据共享，我还是有一些疑问： > 如果一个组件（spout/bolt）为每个工作者配置了多个执行器，假设工作者号为1，组件的parallelism_hint为3，任务号使用默认设置（即1)，是否意味着该组件在工作者中有3个实例？如果不是，是否应该在同步块中使用组件的字段？ 如果在组件中(或方法内）创建了一个名为“athrea
-
最近，我在使用logback.xml作为日志记录时，在独立集群模式下的Flink日志记录中遇到了一个问题。我的要求是，我的所有作业都应该登录到特定的文件夹中，我的flink框架日志应该放在单独的文件夹中，而且对于在我的flink集群中运行的每个作业，应该有单独的文件夹用于不同的作业。我在我的本地集群中测试了它，它运行良好，我得到了所有的日志，与我提交的Flink作业相关的单独文件夹，但一旦我在独立