为什么给spark作业的executor内存参数与线程上分配的内存不匹配？

Question

我有一个关于火花执行器内存的被遗忘已久的问题。我在代码中为火花作业提供了这些参数。

案例1：

object Pickup {
  val conf = new SparkConf().setAppName("SPLINTER").set("spark.executor.heartbeatInterval", "120s")
      .set("spark.network.timeout", "12000s")
      .set("spark.sql.orc.filterPushdown", "true")
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      .set("spark.kryoserializer.buffer.max", "512m")
      .set("spark.serializer", classOf[org.apache.spark.serializer.KryoSerializer].getName)
      .set("spark.html" target="_blank">streaming.stopGracefullyOnShutdown", "true")
      .set("spark.yarn.driver.memoryOverhead", "8192")
      .set("spark.yarn.executor.memoryOverhead", "8192")
      .set("spark.shuffle.service.enabled", "true")
      .set("spark.sql.tungsten.enabled", "true")
      .set("spark.executor.instances", "4")
      .set("spark.executor.memory", "2g")
      .set("spark.executor.cores", "5")
      .set("spark.files.maxPartitionBytes", "268435468")
      .set("spark.sql.shuffle.partitions","20")
...
...
...
}

执行人

这是运行的执行器数量及其内存的样子

为什么分配的内存是53248MB（52GB）？它是否也与开销内存值相加？即使是这样=

因此，我再次更改了作业中的内存参数，如下所示：

案例2：这次我给了司机

后台的执行者:

如果添加了所有内存编号，它仍会变为：4 个执行程序 * 每个执行程序 2gb =

火花提交命令：

SPARK_MAJOR_VERSION=2 spark-submit --class com.partition.source.Pickup --master=yarn --conf spark.ui.port=4090 --driver-class-path /home/username/jars/greenplum.jar:/home/username/jars/postgresql-42.1.4.jar:/home/username/ReconTest/inputdir/myjars/hive-jdbc-2.3.5.jar --conf spark.jars=/home/username/jars/greenplum.jar,/home/username/jars/postgresql-42.1.4.jar,/home/username/ReconTest/inputdir/myjars/hive-jdbc-2.3.5.jar --executor-cores 4 --executor-memory 2G --keytab /home/username/username.keytab --principal [e-mail] --files /$SPARK_HOME/conf/hive-site.xml,testconnection.properties --name Splinter --conf spark.executor.extraClassPath=/home/username/jars/greenplum.jar splinter_2.11-0.1.jar SSS

我在网上搜索，看看执行器内存在作业中的分布情况。大部分信息是关于如何调整它，而不是解释它是如何分发的。最令人困惑的部分是红色框中标记的工作卡中分配的内存参数中显示的数字。我不明白53248MB（52GB）是如何分配给4个执行器，每个执行器2gb。

我错过了任何链接吗？谁能告诉我为什么这个数字这么大？执行器内存在后台是如何分布的？

Answer 1

每个执行器的实际内存为：

＜code＞spark.executor。内存spark.yarn.executor.memory开销

＜code＞spark.yarn.executor。内存开销（如果未指定）=MAX（384MB，spark.executor.memory的7%）

因此，您有4个执行器~40G。和1个驱动程序（1G 8GB）==

在您的案例#2:~20GB（4个执行器：4*4=16G，1个驱动程序：1 2=3G）中也是如此