pyspark：Java.lang.OutOfMemoryError：Java堆空间

Question

我最近一直在我的服务器上使用PySpark和Ipython，服务器上有24个CPU和32GB RAM。它只在一台机器上运行。在我的过程中，我想收集大量的数据，如下代码所示：

train_dataRDD = (train.map(lambda x:getTagsAndText(x))
.filter(lambda x:x[-1]!=[])
.flatMap(lambda (x,text,tags): [(tag,(x,text)) for tag in tags])
.groupByKey()
.mapValues(list))

当我做的时候

training_data =  train_dataRDD.collectAsMap()

它给了我outOfMemory错误。Java堆空间。此外，我不能在此错误后对Spark执行任何操作，因为它失去了与Java的连接。它给出了py4jNetworkError：无法连接到Java服务器。

看起来堆空间很小。我怎么才能把它设置到更大的限度呢？

编辑：

运行前尝试的内容:sc._conf.set('spark.executor.memory','32g').set('spark.driver.memory','32g').set('spark.driver.maxresultssize','0')

我根据这里的文档更改了spark选项（如果您执行ctrl-f并搜索spark.executor.ExtraJavaOptions):http://spark.apache.org/docs/1.2.1/configuration.html

它说我可以通过设置spark.executor.memory选项来避免OOMs。我也做了同样的事，但似乎不起作用。

Answer 1

在尝试了配置参数的加载之后，我发现只有一个参数需要更改以启用更多的堆空间，即spark.driver.memory。

sudo vim $SPARK_HOME/conf/spark-defaults.conf
#uncomment the spark.driver.memory and change it according to your use. I changed it to below
spark.driver.memory 15g
# press : and then wq! to exit vim editor

关闭现有的spark应用程序并重新运行它。您将不会再遇到此错误。：）