如何调谐storm中的平行提示

Question

“并行性提示”在storm中用于并行运行的storm拓扑。我知道有像工作者过程，执行者和任务这样的概念。让并行性提示尽可能大，以便您的拓扑尽可能并行，这有意义吗？

我的问题是如何为我的storm拓扑找到一个完美的并行性提示数。它是取决于我的storm集群的规模，还是更像是拓扑/作业特定的设置，它因拓扑而异？还是两者都取决于？

Answer 1

添加@Chiron解释的内容

“并行性提示”在storm中用于并行运行的storm拓扑

实际上，在storm中，parallelism提示术语用于指定组件（喷口、螺栓）的执行器（线程）的初始数量，例如

    topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)

    topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2).setNumTasks(4) 

为每个执行器配置一个以上任务的目的是，在拓扑仍在运行时，可以使用运行时中的重新平衡机制更改执行器（线程）的数量（请记住，在拓扑的整个生命周期中，任务的数量总是相同的）。

增加工作人员的数量（负责为一个或多个组件运行一个或多个执行器）也可能会给您带来性能上的好处，但这也是相对的，正如我从下面的讨论中发现的那样，nathanmarz说

拥有更多的员工可能会有更好的表现，这取决于你的瓶颈在哪里。每个worker都有一个线程，它将元组传递到0MQ连接，然后再传递给其他worker。因此，如果CPU有瓶颈，每个worker都在处理大量元组，那么更多的worker可能会为您带来更好的吞吐量。