配置火花应用参数的最佳开端是什么？

Question

我很困惑我应该使用哪种方法来配置火花应用程序参数。

让我们考虑以下集群配置：10个节点、每个节点16个内核和每个节点64GB RAM（例如https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html0

1. 根据上述建议，让我们为每个执行器分配5个核心=

因此，建议配置为：29个执行器，每个18GB内存，每个5核

考虑另一个集群配置的示例：6个节点、25个核心节点和每个节点125 GB内存（示例来自https://researchcomputing.princeton.edu/computational-hardware/hadoop/spark-memory)

推荐的配置是；--num-ex董事者30--exutor-cores 4--执行器-内存24G。

问题：如果我们使用示例1中应用的规则并计算示例2中推荐的配置，结果将非常不同。事实上，如果我们--executor cores=4，然后我们从每个节点中减去1个core 6*24=144，那么我们得到144/4=26个执行器。在为AM留下1个核心后==

Answer 1

对于6个节点、25个核心节点和125 GB，如果分解为每个执行器“4”个核心，则每个节点保留“1”个核心。然后6*24=144（考虑总芯数）。144/4=“36”执行人不是“26”。如果你去掉“1”执行人，那么它将是“35”。因此，对于每个节点（Node1到Node5=“6”执行器Node6=“5”执行器1（我们省略了它）或任何其他节点都会携带5个执行器，剩下6个），就像这样。。