Spark Java.lang.OutOfMemoryError：Java堆空间[重复]

Question

当我使用spark运行一个模型训练管道时，我产生了上面的错误

`val inputData = spark.read
  .option("header", true)
  .option("mode","DROPMALFORMED")
  .csv(input)
  .repartition(500)
  .toDF("b", "c")
  .withColumn("b", lower(col("b")))
  .withColumn("c", lower(col("c")))
  .toDF("b", "c")
  .na.drop()`

val tokenizer = new Tokenizer()
  .setInputCol("c")
  .setOutputCol("tokens")

val cvSpec = new CountVectorizer()
  .setInputCol("tokens")
  .setOutputCol("features")
  .setMinDF(minDF)
  .setVocabSize(vocabSize)

val nb = new NaiveBayes()
  .setLabelCol("bi")
  .setFeaturesCol("features")
  .setPredictionCol("prediction")
  .setSmoothing(smoothing)

new Pipeline().setStages(Array(tokenizer, cvSpec, nb)).fit(inputData)

spark-submit--class holmes.model.building.modelbuilding/target/scala-2.11/holmes-model-building2.11-1.0.0-snapshot-7d6978.jar--master local[*]--conf spark.serializer=org.apache.spark.serializer.kryoserializer--conf spark.kryoserializer.buffer.max=2000m--conf spark.driver.maxresultsize=2g--conf spark.rpc.message.maxsize=1024--conf spark.memory.offheap.enabled=true.memory.offheap.size=50g--driver-memory=12g

oom错误由org.apache.spark.util.Collection.ExternalSorter.WritePartitionedFile（ExternalSorter.Scala:706)触发（在堆栈跟踪的底部）

日志：

Caused by: java.lang.OutOfMemoryError: Java heap space at java.lang.reflect.Array.newInstance(Array.java:75) at java.io.ObjectInputStream.readArray(ObjectInputStream.java:1897) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1529) java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2027) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535) org.apache.spark.util.collection.ExternalSorter.writePartitionedFile(ExternalSorter.scala:706) 

任何建议都会很棒：）

Answer 1

我会尝试的事情：

1）删除spark.memory.offheap.enabled=true并将驱动程序内存增加到框上可用内存的90%。您可能知道这一点，因为您没有设置执行程序内存，但在本地模式下，驱动程序和执行程序都运行在由驱动程序内存控制的同一进程中。我没有尝试过，但offheap功能听起来价值有限。参考

2）一个实际的集群而不是本地模式。更多的节点显然会给你更多的RAM。

3b)如果您移动到一个集群，您可能还希望调整executors内核的数量，原因与上面提到的相同。您可以使用--executor-cores标志来完成此操作。

4）尝试使用更多的分区。在您的示例代码中，您重新分区到500个分区，也许可以尝试1000或2000个分区？更多的分区意味着每个分区更小，内存压力更小。