当通过Sparklyr在本地模式下运行Spark时，我如何配置驱动程序内存？

Question

我正在使用Sparklyr在一个拥有244GB RAM的虚拟机上以本地模式运行一个Spark应用程序。在我的代码中，我使用spark_read_csv()从一个文件夹读取大约50MB的CSV，然后从另一个文件夹读取大约1.5GB的CSV。我的问题是应用程序在尝试读取第二个文件夹时抛出错误。

根据我的理解，问题是驱动程序JVM可用的默认RAM是512MB--对于第二个文件夹来说太小了（在本地模式下，所有操作都在驱动程序JVM中运行，正如这里如何设置Apache Spark Executor内存所描述的。所以我需要将Spark.driver.memory参数增加到更大的值。

问题是我无法通过sparklyr文档中描述的普通方法（即通过spark_config()、config.yml文件或spark-defaults.conf文件）设置此参数：

在本地模式下，运行spark-submit时，JVM已经启动了默认内存设置，因此在conf中设置“spark.driver.memory”实际上不会为您做任何事情。相反，您需要运行spark-submit如下所示：

bin/spark-submit --driver-memory 2g --class your.class.here app.jar

（摘自如何设置Apache Spark执行器内存）。

我以为可以通过将sparklyr.shell.driver-memory选项添加到config.yml中来复制上面的bin/spark-submit命令；如Sparklyr文档中所述；sparklyr.shell*选项是传递给spark-submit的命令行参数，即将sparklyr.shell.driver-memory:5G添加到config.yml文件应等同于运行bin/spark-submit--driver-memory5G。

我现在已经尝试了上面所有的选项，没有一个会改变Spark应用程序中的驱动程序内存（我通过查看Spark UI的“Executors”选项卡来检查）。

那么如何通过Sparklyr在本地模式下运行Spark时更改驱动程序内存呢？

Answer 1

感谢@Aydin K的建议。最终，我能够配置驱动程序内存，首先将java更新到64bit（允许在JVM中使用>4G的RAM)，然后使用spark_config()对象中的sparklyr.shell*参数：

config <- spark_config()
config$`sparklyr.shell.driver-memory` <- '30G'
config$`sparklyr.shell.executor-memory` <- '30G'
sc <- spark_connect(master='local', version='2.0.1', config=config)