Spark应用程序-Java。lang.OutOfMemoryError：Java堆空间

Question

我使用的是Spark独立单机，128G内存，32核。以下是我认为与我的问题相关的设置：

spark.storage.memoryFraction     0.35
spark.default.parallelism        50
spark.sql.shuffle.partitions     50

我有一个Spark应用程序，其中有1000个设备的循环。对于每个循环（设备），它准备特征向量，然后调用MLLib的k-Means。在循环的第25次到第30次迭代（处理第25次到第30次设备）时，它遇到了错误“Java.lang.OutOfMemoryError:Java堆空间”。

我试着从0.7到0.35进行记忆练习，但没有效果。我还尝试将并行/分区设置为200，但没有成功。JVM选项是“-Xms25G-Xmx25G-XX:MaxPermSize=512m”。我的数据大小只有2G左右。

这是堆栈跟踪：

java.lang.OutOfMemoryError: Java heap space
  at java.util.Arrays.copyOf(Arrays.java:2271)
  at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:118)
  at java.io.ByteArrayOutputStream.ensureCapacity(ByteArrayOutputStream.java:93)
  at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:153)
  at java.io.ObjectOutputStream$BlockDataOutputStream.write(ObjectOutputStream.java:1841)
  at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1533)
  at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1508)
  at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1431)
  at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1177)
  at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:347)
  at scala.collection.mutable.HashMap$$anonfun$writeObject$1.apply(HashMap.scala:138)
  at scala.collection.mutable.HashMap$$anonfun$writeObject$1.apply(HashMap.scala:136)
  at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:230)
  at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40)
  at scala.collection.mutable.HashTable$class.serializeTo(HashTable.scala:125)
  at scala.collection.mutable.HashMap.serializeTo(HashMap.scala:40)
  at scala.collection.mutable.HashMap.writeObject(HashMap.scala:136)
  at sun.reflect.GeneratedMethodAccessor116.invoke(Unknown Source)
  at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  at java.lang.reflect.Method.invoke(Method.java:606)
  at java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:988)
  at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1495)
  at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1431)
  at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1177)
  at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1547)
  at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1508)
  at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1431)
  at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1177)
  at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1547)
  at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1508)
  at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1431)
  at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1177)

起初，应用程序看起来不错，但在运行一段时间并处理越来越多的设备后，Java堆逐渐被占用，JVM不会释放内存。如何诊断和修复此类问题？

Answer 1

JVM选项不足以配置Spark内存，您还需要设置Spark。驾驶员存储器（用于驾驶员、obv）和火花。执行人。内存（适用于工人）。默认设置为1gb。有关更多信息，请参阅本全面指南。事实上，我劝你读一读，那里有很多东西，熟悉它以后肯定会有回报的。

Answer 2

除了驱动程序和执行器内存外，建议尝试以下选项：-

1. 切换到Kryo序列化-http://spark.apache.org/docs/latest/tuning.html#data-序列化

另外，如果你能发布代码就好了。

Answer 3

您可以始终使用visualVM等探查器工具。监视内存增长。希望您使用的是64位JVM，而不是32位JVM。32位进程只能使用2GB内存，因此内存设置基本上没有用处。希望这有帮助