Spark Java：无法更改驱动程序内存

Question

export SPARK_MASTER_HOST='192.168.100.17'
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=14000mb 
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_OPTS='-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=172800 -Dspark.worker.cleanup.appDataTtl=172800'

spark-defaults.conf中没有任何内容，以编程方式初始化spark上下文的代码是：

@Bean
public SparkSession sparksession() {
     SparkSession sp = SparkSession
             .builder()
    .master("spark://....")
    .config("spark.cassandra.connection.host","192.168.100......")
    .appName("biomet")
    .config("spark.driver.memory","20g")
    .config("spark.driver.maxResultSize", "10g")
    .config("spark.sql.shuffle.partitions",48) 
    .config("spark.executor.memory","7g") 
    .config("spark.sql.pivotMaxValues","50000") 
    .config("spark.sql.caseSensitive",true)
    .config("spark.executor.extraClassPath","/home/ubuntu/spark-2.4.3-bin-hadoop2.7/jars/guava-16.0.1.jar")
    .config("spark.hadoop.fs.s3a.access.key","...")
    .config("spark.hadoop.fs.s3a.secret.key","...")
             .getOrCreate();
     return sp;
 }

在所有这些之后，Spark UI的Environment选项卡的Spark.driver.maxResultSize为10G，Spark.driver.memory为20G，但是驱动程序的存储内存的executors选项卡显示为0.0B/4.3GB。

（请注意：我以前的Spark.Driver.Memory是10G（以编程方式设置），在executor选项卡中显示为4.3GB，但现在看来我无法更改它。但我在想，即使我有10G的时候，它不是应该给我4.3GB以上吗？！）

如何更改驱动程序内存？我试着从spark-defaults.conf设置它，但没有任何改变。即使我没有设置所有的驱动内存（或设置为小于4.3GB)，它仍然显示4.3GB在executors选项卡。

Answer 1

我怀疑您是在客户端模式下运行应用程序，然后根据文档：

可以使用Spark设置最大堆大小设置。司机。集群模式下的内存和客户端模式下的--driver-memory命令行选项。注意：在客户机模式下，这个配置不能直接在应用程序中通过SparkConf设置，因为驱动程序JVM在那一点上已经启动了。

在当前情况下，Spark作业是从应用程序提交的，因此应用程序本身就是一个驱动程序，它的内存按照Java应用程序的通常方式进行调节--通过-xmx等。