在Storm中配置并行性

Question

如何在storm集群中处理这种情况（最好不创建外部服务）：

1. 我只需要一个由所有拓扑实例使用的spout，例如，如果输入数据通过网络文件夹被推送到群集，该网络文件夹将扫描新文件。
2. 类似的问题与混凝土类型的螺栓。例如，当数据由被锁定到具体物理机器的许可的第三方库处理时。

Answer 1

第一，基础：

1. 工作者-运行的执行器，每个工作者都有自己的JVM
2. 执行器-运行任务，每个执行器通过Storm分配给不同的工作人员
3. 任务-运行spout/bolt代码的实例

第二，一个修正...拥有5个工人并不意味着你会自动拥有5份你的喷口。拥有5个工作者意味着您有5个单独的JVM，storm可以在其中分配执行器来运行（将其视为5个桶）。

第一次创建和提交拓扑时配置了spout的实例数：

TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("0-spout", new MySpout(), spoutParallelism).setNumTasks(spoutTasks);

由于您只希望整个集群有一个喷点，因此您可以将SPoutParallelism和SPoutTasks都设置为1。