我刚刚开始了解阿帕奇Storm。我无法理解的一件事是,整个拓扑是否至少复制到一个主管节点上的一个辅助进程上。如果是这样的话,那么拓扑结构中的一个非常计算密集型的组件(并且可能会在单个机器上执行更好的(性能))是一个潜在的瓶颈吗?如果没有,我假设Nimbus在集群中“分配”部分拓扑。它如何知道如何最优地“分配”拓扑?
Storm不会复制拓扑。如果部署拓扑,所有执行器线程将均匀分布在所有工作节点上(使用循环调度机制)。拓扑可以使用的辅助节点数可以通过config.setNumWorkers(int);
进行配置。
如果您有一个计算密集型螺栓,并且希望确保将其部署到自己的工作人员,则需要实现一个自定义调度程序。更多详情请参见她:https://xumingming.sinaapp.com/885/twitter-storm-how-to-develop-a-pluggable-scheduler/
三个主机的名称: Storm-光轮:这个id光轮主机。 Storm-SV-1:这是第一主管。 2)在nimbus主机上运行storm ui(192.168.3.132) 3)在nimbus主机上运行storm nimbus(192.168.3.132) 4)在ui页面(http://192.168.3.132:8080/)中验证nimbus状态。 > 两个主管出现在UI页面上。:好的 在每个主管页
我正在计划一个新的星火集群。我的问题是我需要在所有数据节点上安装spark worker节点吗?例如,如果我有50个数据节点,而我只安装了10个spark worker节点,这合理吗?谢了!
Storm版本:1.2.2平台:Windows Server 2008 “错误:无法终止pid xxx进程,只能终止此进程(使用\f选项)。” 错误消息从以下图片翻译:error-info-pic 我不知道与这个错误,我已经使用谷歌搜索一些答案,但没有找到,所以我发送这条消息给你。我希望你能帮助我。 我已经编译了一个新的Storm-Core.jar,并在supervisor杀死worker时添加了
我正在学习storm。我对Apache storm上一次可以运行的拓扑数有疑问。我在storm集群上提交了两个拓扑,但一次只能运行一个拓扑。我需要杀死或停用已经存在的拓扑才能运行任何新的拓扑。 我用的是Storm0.9.4 动物园管理员3.4.6 我在附上我的暴风UI的截图。
因此,在某种程度上,拓扑描述了一个文件所需要的流,以计数它所拥有的唯一单词。 如果我有两个文件file1和file2,那么一个应该能够调用相同的拓扑并创建该拓扑的两个实例来运行相同的字数。 为了跟踪单词计数是否确实完成,一旦文件处理完毕,单词计数拓扑的实例应该具有完成状态。 对于文件2 更别提使用storm客户端同样上传jar 另一个问题是,一旦文件被处理,拓扑就无法完成。在我们对拓扑发出杀戮之前