当前位置: 首页 > 知识库问答 >
问题:

我们是否需要在所有数据节点上安装spark worker节点?

诸腾
2023-03-14

我正在计划一个新的星火集群。我的问题是我需要在所有数据节点上安装spark worker节点吗?例如,如果我有50个数据节点,而我只安装了10个spark worker节点,这合理吗?谢了!

共有1个答案

詹亮
2023-03-14

是的,您需要在所有节点上安装spark worker,因为默认情况下无法预测将使用哪个节点。请查找此链接以安装multinode spark

 类似资料:
  • 我已经尝试了这里的一切- 但我似乎无法让它运作起来。无论何时我尝试npm安装——保存ursa,它都会失败。 我的错误是

  • 我正在为药房做一个应用程序,所有数据都在实时数据库上,例如:用户信息,聊天和购物车。我不小心在应用程序的主节点上导入了药物的json文件,现在我有9000个节点,我无法手动删除它们。我想删除除4个节点之外的所有节点或撤消上次操作。

  • 问题内容: 浏览器内的JavaScript是否有提供与Node相同的灵活性/模块化/易用性的库? 提供更多细节:原因如此好: 允许从其他位置动态加载代码(在我看来,这比在HTML中链接所有代码在样式上更好) 它为构建模块提供了一致的界面 模块很容易依赖其他模块(因此,我可以编写一个需要jQuery的API,以便我可以使用 加载的javascript是有 作用域的 ,这意味着我可以加载并且可以访问,

  • 我对container worrld是新手,并试图在两个linux VM中本地设置一个kubernetes集群。在集群初始化期间,它卡在 KubeADM-1.6.0-0.x86_64.rpm KubectL-1.6.0-0.x86_64.rpm Kubelet-1.6.0-0.x86_64.rpm

  • 构建哈夫曼树的步骤输入是唯一字符的数组及其出现频率,输出是哈夫曼树。 > 为每个唯一字符创建一个叶节点,并构建所有叶节点的最小堆(最小堆用作优先级队列。频率字段的值用于比较最小堆中的两个节点。最初,最不频繁的字符位于根) 从最小堆中以最小频率提取两个节点。 创建一个新的内部节点,其频率等于两个节点频率之和。将第一个提取的节点作为其左子节点,将另一个提取的节点作为其右子节点。将此节点添加到最小堆。

  • 我遇到了一个问题,我知道如何计算树中的所有节点,像这样