基于工作者、核和数据流大小确定最佳火花分区数

Question

Spark-land中有几个类似但不同的概念，围绕着如何将工作分配到不同的节点并并发执行。具体有：

• Spark驱动程序节点(sparkdrivercount)
• Spark群集可用的辅助节点数(numworkernodes)
• Spark executors的数量(NumExecutors)
• 所有工作人员/执行人员同时操作的DataFrame(DataFrame)
• dataframe(numdfrows)
中的行数
• dataframe上的分区数(numpartitions)
• ，最后是每个工作节点上可用的CPU核数(NumCPUCORESPERWorker)

我相信所有的Spark集群都只有一个Spark驱动程序，然后是0+个工作节点。如果我错了，请从纠正我开始！假设我对此或多或少是正确的，让我们锁定几个变量。假设我们有一个带有1个驱动程序和4个工作节点的Spark集群，每个工作节点上有4个CPU核（所以总共有16个CPU核）。所以这里的“给定”是：

sparkDriverCount = 1
numWorkerNodes = 4
numCpuCores = numWorkerNodes * numCpuCoresPerWorker = 4 * 4 = 16

null

Answer 1

是的，一个spark应用程序只有一个驱动程序。

numworkernodes和numexecutors之间是什么关系？

一个worker可以承载多个执行器，您可以将它看作worker是集群的机器/节点，而executor是运行在该worker上的进程（在核心中执行）。

我只是用：

--num-executors 64

当我启动/提交脚本时，我猜spark知道它需要召集多少工人（当然，也要考虑其他参数和机器的性质）。

因此，就我个人而言，我不知道任何这样的比例。

sc = SparkContext(appName = "smeeb-App")
total_cores = int(sc._conf.get('spark.executor.instances')) * int(sc._conf.get('spark.executor.cores'))
dataset = sc.textFile(input_path, total_cores * 3)

如果分区太少，就会有大量的数据块，尤其是在处理bigdata时，这样就会给应用程序带来内存压力。

太多的分区会使hdfs承受很大的压力，因为必须从hdfs生成的所有元数据随着分区数量的增加而显著增加（因为它维护临时文件等）。^*

因此，您也需要为分区数量找到一个合适的位置，这是微调应用程序的一部分。：）