当前位置: 首页 > 知识库问答 >
问题:

Storm集群中执行器多于CPU/核的影响

鲁华茂
2023-03-14

共有1个答案

呼延弘方
2023-03-14

这是一个很笼统的问题,所以答案是(一如既往):这取决于。

如果您的负载很大,并且单个执行器完全利用了一个核心,那么拥有更多的执行器并不能提高吞吐量。如果有任何影响,它可能是负面的(对于内部使用的队列的争用也是如此,所有执行程序都需要从这些队列中读取和写入元组传输)。

如果您的负载是“小”的,并且没有充分利用您的CPU,它也会造成问题--您不会获得或松动任何东西--因为您的内核没有充分利用,您仍然有一些剩余的头空间。

 类似资料:
  • 我试图在同一台机器上运行zookeeper、nimbus和supervisor来模拟storm集群(我知道storm是作为分布式系统设计的,但为了学习,我想模拟单机中的工作方式)。

  • 我读了很多和Storm有关的网站。但我仍然无法将拓扑结构完美地映射到Storm集群中。 请帮助我理解这一点。 在Storm集群中有这样的术语 null null null 所有这些都要用Storm集群来映射。我已经在一个项目里工作了。所以我知道拓扑结构。

  • 问题内容: 我必须设置多少个分片和副本才能使用群集中的每个cpu核心(我希望100%的负载,最快的查询结果)? 我想使用Elasticsearch进行聚合。我读到Elasticsearch使用多个cpu核心,但是没有找到关于cpu核心在分片和副本方面的确切细节。 我的观察是,单个分片在查询时使用的内核/线程不超过1个(考虑到一次仅查询一个)。使用副本时,查询1-shard索引的速度不会更快,因为E

  • 我在跟踪http://jayatiatblogs.blogspot.com/2011/11/storm-installation.html 我的主节点10.0.0.185。我的从节点10.0.0.79,10.0.0.124 下面是我的动物园。我的从属节点的cfg: 下面是我的Storm。我的从属节点的yaml: 下面是暴风雨。我的主节点的yaml: 我在所有从属节点中启动zookeeper,然后在

  • 一、集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务。同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus 服务外,还在 hadoop002 上部署备用的 Nimbus 服务。Nimbus 服务由 Zookeeper 集群进行协调管理,如果主 Nimbus 不可用,则备用 Nimbus 会成为新的主 Nim