Storm worker连接

Question

我有个奇怪的问题。我使用apache 0.10.0 storm版本和3.5.1 zookeeper版本。我在同一网络上有4个不同的虚拟机。

我开始：

storm.zookeeper.servers:
- "XXX.XXX.5.60"
nimbus.host: "XXX.XXX.5.61"
storm.local.dir: "/home/stresstest/data"

storm.zookeeper.servers:
- "XXX.XXX.5.60"
nimbus.host: "XXX.XXX.5.61"
storm.local.dir: "/home/stresstest/data"
supervisor.slots.ports:
- 6700

我看到zookeeper正常地接受了这些连接：

2015-11-27 04:16:06,438[myid:]-信息[syncthread:0:zookeeperServer@678]-为客户端/xxx.xxx.5.67:41315 2015-11-27 04:16:06,439[myid:]-信息[syncthread:0:zookeeperServer@678]-为客户端/xxx.xxx.5.68:59833为客户端建立会话0x1000000D4AD000C,协商超时20000

如上所示，每个主管都有一名员工。从UI的网站，我看到我有2个主管和2个总插槽。当我向Nimbus提交一个拓扑时，它会消耗1个工作者。

而问题就从这里开始。当我重新平衡拓扑以消耗2个工作者时,它会执行以下操作：

Id主机正常运行时插槽已使用插槽版本

该拓扑似乎使用了两个工作者，但却是同一个工作者。工作人员主机对于这两个工作人员/主管似乎是相同的。所以当我向Nimbus发送数据时，只有1个工人在处理，另一个工人在等待数据（两个工人都下载了拓扑）。为什么会出现这种情况？

Answer 1

我在我们的项目中也遇到了同样的问题，结果发现，我们不能通过重新平衡指挥来增加工人的数量。重新平衡只用于减少我们使用的工人数量。例如，在拓扑启动器中，将worker的数量提供为2，并且u可以使用re-balance-n 1命令将拓扑重新平衡为1个worker。此外，还可以使用re-balance命令增加或减少并行提示（执行者）的数量。