AWS EMR纱线簇上的Jupyterhub pyspark3

Question

我正在AWS EMRhtml" target="_blank">集群上使用pyspark3内核运行Jupyterhub。正如我们可能知道的那样，EMR上的Jupyterhub pyspark3使用Livy会话在AWS EMR YARN调度程序上运行工作负载。我的问题是关于火花的配置：执行器内存/内核、驱动程序内存/内核等。

配置中已经有默认配置。Jupyter的json文件：

...

"session_configs":{
      "executorMemory":"4096M",
      "executorCores":2,
      "driverCores":2,
      "driverMemory":"4096M",
      "numExecutors":2
   },

...

我们可以改写此配置使用spackMagic：

%%configure -f
{"conf":{"spark.pyspark.python": "python3",
         "spark.pyspark.virtualenv.enabled": "true",
         "spark.pyspark.virtualenv.type":"native", 
         "spark.pyspark.virtualenv.bin.path":"/usr/bin/virtualenv", 
         "spark.executor.memory":"2g",
         "spark.driver.memory": "2g",
         "spark.executor.cores": "1",
         "spark.num.executors": "1",
         "spark.driver.maxResultSize": "2g", 
         "spark.yarn.executor.memoryOverhead": "2g",
         "spark.yarn.driver.memoryOverhead": "2g",
         "spark.yarn.queue": "default"
    }
}

火花默认值中也有配置。EMR集群主节点中的conf文件。

spark.executor.memory            2048M
spark.driver.memory              2048M
spark.yarn.driver.memoryOverhead 409M
spark.executor.cores             2
...

当我启动SparkSession以便在纱线集群中运行spark应用程序时，将使用哪种配置？

请在YARN Scheduler上找到正在运行的火花应用程序的图像：

Answer 1

根据我的经验和这个告诉如何修改spark配置的链接，似乎将使用您通过%%configure-f所做的修改（当然，如果您将此作为第一个命令，它将使用此配置启动会话）。