Apache Storm中调度/布局的控制

Question

我正在由2个节点组成的Storm集群中运行wordcount拓扑。一个节点是主节点（带有Nimbus、UI和Logviewer)，然后这两个节点都是Supervisor节点，每个节点都有一名工人。也就是说，我的主节点也是监管者，第二个节点只是监管者。正如我所说，每名主管有1名工人。

我使用的拓扑配置为使用这2个工作者(setnumworkers(2))。在细节上，该拓扑结构有1个喷口和2个Thread，1个分离螺栓和1个计数螺栓。当我使用默认调度程序部署拓扑时，第一个Supervisor有1个Spout线程和split Bolt，第二个Supervisor有1个Spout线程和count Bolt。

我希望我的问题足够清楚。请随时询问更多细节。我知道我可能需要挖掘Storm的源代码并重新编译。那很好。我正在寻找一个起点和如何进行的建议。

我正在使用的暴风版本是2.1.0。

Answer 1

调度由Storm中的可插拔调度程序处理。请参阅http://storm.apache.org/releases/2.1.0/storm-scheduler.html上的文档。

您可能希望查看defaultscheduler以获得参考https://github.com/apache/storm/blob/v2.1.0/storm-server/src/main/java/org/apache/storm/scheduler/defaultscheduler.java。这是Storm使用的默认调度程序，它有一点处理能力来禁止“坏的”工作人员进行分配，但在其他方面，它主要只是进行循环分配。

如果您不想实现集群范围内的调度程序，您可能可以将集群设置为使用ResourceWareScheduler，而使用拓扑级调度策略。您可以通过在提交拓扑时设置config.settopologyStrategy(YourStrategyHere.class)来进行设置。您将希望实现此接口https://github.com/apache/storm/blob/e909b3d604367e7c47c3bbf3ec8e7f6b672ff778/storm-server/src/main/java/org/apache/storm/blob/c427119f24bc0b14f81706ab4ad03404aa85aede/storm-server/src/main/java/org/apache/storm/scheduler/resource/strategies/schedule/defaultresourceawarestrategy.java

编辑：如果您实现了iStrategy或isCheduler，则它们需要放在Nimbus机器上的Storm/lib中的一个jar中。策略或调度程序需要位于Nimbus进程的类路径上。