理解Storm建筑

Question

我一直在努力理解Storm建筑，但我不确定我是否理解正确。我会尽可能准确地解释我认为的情况。请解释一下如果我错了什么是对的。

http://storm.apache.org/releases/2.0.0-SNAPSHOT/Understanding-the-parallelism-of-a-Storm-topology.html这意味着一个工人也是一个过程http://storm.apache.org/releases/2.0.0-SNAPSHOT/Concepts.html然而，对于“工作进程。每个工作进程都是一个物理JVM”http://storm.apache.org/releases/1.0.1/Setting-up-a-Storm-cluster.html表示一个worker是一个带有“Nimbus和worker machines”的节点。网站http://www.michael-noll.com/tutorials/running-multi-node-storm-cluster/提到“主节点”和“工作节点”。那么，工作人员是一个进程还是一个物理节点（或者一个节点是一个进程）？因此，我认为有两件事：工作节点和工作进程。

• 主节点=管理服务器
• 工作节点=从节点
• Nimbus JVM进程，在主节点上运行
• ZooKeeper JVM进程，在ZooKeeper节点上运行
• 主管JVM进程，在工作节点上运行
• 工作进程（JVM），在工作节点上运行
• 执行器线程，由辅助进程运行
• 任务（螺栓和喷嘴实例），由执行者执行

Nimbus是一个JVM进程，运行在物理主节点上，它接收我的程序（Storm拓扑），从中获取螺栓和喷嘴并生成任务。如果一个螺栓应该并联三次，光环会为它生成三个任务。Nimbus向ZooKeeper JVM进程询问集群的配置，例如在哪里运行这些任务，ZooKeeper JVM进程告诉Nimbus。为了做到这一点，动物园管理员与管理员进行沟通（他们的情况将在稍后公布）。Nimbus将任务分配给Workers节点，后者是物理节点。工作节点由主管管理，主管是JVM进程——一个工作节点只有一个主管。主管管理（启动、停止等）工作进程，这是在工作节点上运行的JVM进程。每个工作节点都可以运行多个工作进程。工作进程是JVM进程。它们运行一个或多个被称为执行器的线程。每个Executor线程运行一个或多个任务，这意味着螺栓或喷嘴的一个或多个实例，但它们必须是同一个螺栓。

如果这一切都是真的，那就引出了一些问题：

• 让多个工作进程在一个工作节点上运行有什么意义？毕竟一个进程可以使用多个处理器核，对吗
• 如果多个任务必须是同一个螺栓/喷嘴，那么由一个执行器线程运行多个任务有什么意义？一个线程只在一个处理器内核上运行，因此多个螺栓/喷嘴必须相互紧跟，不能并行。在Storm拓扑中无限期运行-在Executor线程中有两个相同螺栓/喷嘴的实例有什么意义

编辑：好的附加资源：http://www.tutorialspoint.com/apache_storm/apache_storm_cluster_architecture.htm

Answer 1

首先是一些澄清（基本上你是对的）。

• 节点和进程这两个词的使用并不总是一致的（不幸的是）。但是你的实体在游戏中是正确的。
• 关于并行化：任务的数量由. setNum任务（）决定--如果没有指定，则与parallelism_hint（设置执行程序的数量）相同。
• 关于部署：Nimbus从ZK获取集群配置，但ZK不决定在哪里运行任务--Nimbus有一个调度器组件来做出这个决定（基于给定的拓扑、拓扑配置和集群配置）。

回答你的问题：

• 单个辅助进程只执行单个拓扑中的任务。因此，如果想要运行多个拓扑，就需要多个辅助JVM。这种设计的原因是容错，即拓扑隔离。如果一个拓扑失败（可能是由于用户代码错误），崩溃的JVM不会影响其他正在运行的拓扑