当前位置: 首页 > 知识库问答 >
问题:

添加更多节点时,Storm如何处理字段分组?

程亦
2023-03-14

任务2在内存中可能有以下计数:Jill:10 Joe:4

如果我向集群中添加了一台新机器以增加容量并运行rebalance,内存中的计数会发生什么情况?你会开始得到不同计数的用户吗?

共有1个答案

黎玺
2023-03-14

使用字段分组,我们可以引导特定的字段去执行特定的任务。

字段分组:按分组中指定的字段对流进行分区。例如,如果流按“user-id”字段分组,则具有相同“user-id”的元组将始终转到相同的任务,但具有不同“user-id”的元组可能转到不同的任务。

这些任务在Storm的生命周期中总是静态的,您可以使用rebalance更改的是执行程序(线程)的数量。在向集群中添加新节点的情况下,允许您重新配置执行程序的数量以运行,同时关闭拓扑,但无论发生什么情况,任务的数量都保持不变。只是添加一个新节点可以通过调优Storm的并行性来提高性能。

 类似资料:
  • 我在跟踪http://jayatiatblogs.blogspot.com/2011/11/storm-installation.html 我的主节点10.0.0.185。我的从节点10.0.0.79,10.0.0.124 下面是我的动物园。我的从属节点的cfg: 下面是我的Storm。我的从属节点的yaml: 下面是暴风雨。我的主节点的yaml: 我在所有从属节点中启动zookeeper,然后在

  • 我正在玩一个链接列表类项目的指针,我不知道如何创建到新节点的链接。我有一个类,它包含像这样的方法来操作数据结构。我希望这些节点是从csv文件中读取的出价。 当我从CSV加载所有数据时,我想 创建一个新的出价 将新的出价传递给函数 设置Bid对象的nextBid指针,并更新链接列表的尾部 我将不胜感激为每个出价对象创建新地址的任何指针,因为现在尾节点只'记得'第一个出价的地址。 我复制了下面的代码,

  • 我正在做一个项目,以创建一个超过2个子节点的树。我明白在创建二叉树时,我们可以只创建一个左节点和一个右节点来充当子节点,但当我在网上寻找创建树的帮助时,我找到的每一个解决方案都谈到了创建二叉树。我明白创建树的部分意味着您需要创建子节点数组或arraylist,但我不明白如何将数据放入数组,或者如何将子节点数组“连接”到父节点? 这是我目前掌握的代码。我知道这不是很多,但我正在努力刚刚开始这个项目。

  • 因此,在任何给定的时间,6个消息在Storm集群中并行处理。如果第二条消息失败,可能是由于工作人员关闭,也可能是由于主管关闭。动物园管理员已经指向消费者群体的7信息。在这种情况下,如何处理第二条消息?

  • 我的问题在我的main方法中,如何向链表中添加多个节点....我现在先从节点2和节点3开始..我以为我添加了这些节点,但是我意识到我并没有对这些节点和它们的值做任何事情,对吗?如何使用setData()和setNext()来添加所有这些节点?这有意义吗? 如果上面设置了值,如何将它们全部添加? 然后,我需要为每一项设置数据和下一步吗?(这似乎是多余的,因为我似乎在上面的构造函数中设置了每个节点的值

  • 问题内容: PHP中有多字节字符串函数来处理多字节字符串(例如:CJK脚本)。例如,我想通过使用python中的函数来计算一个多字节字符串中有多少个字母,但是它返回的结果不准确(即该字符串中的字节数) PHP中有像mb_strlen这样的软件包或函数吗? 问题答案: 使用Unicode字符串: 注意字符串前面。 要将字节字符串转换为Unicode,请使用: