SPARK java。lang.OutOfMemoryError：内存不足，无法构建表并将其广播给所有工作节点

Question

我正在使用火花加入我从azure存储和从eventhub获取的流式数据集获取的静态数据集。我没有在任何地方使用广播连接。我在加入后尝试了df.explain（），它显示sortmer连接正在发生。我不确定为什么我会收到与Broadcast Hash连接相关的错误。

java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodes. As a workaround, you can either disable broadcast by setting spark.sql.autoBroadcastJoinThreshold to -1 or increase the spark driver memory by setting spark.driver.memory to a higher value
...
...
Exception in thread "spark-listener-group-shared" java.lang.OutOfMemoryError: Java heap space
...
...

Spark会广播它从活动中心得到的一切吗？

我的程序就是这样的

//##read stream from event hub

process(stream)

def process(stream: DataFrame){

  val firstDataSet = getFirstDataSet()
  firstDataSet.persist()

  val joined = stream.join(
    firstDataSet,
    stream("joinId") === firstDataSet("joinId")
    )

  //##write joined to event hub
}

def getFirstDataSet(){
  //##read first from azure storage

  val firstDataSet = first.filter(
    condition1 &&
    condition 2
    )
}

更新：看起来JVM内存不足错误，与广播无关。https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-24912

看起来char数组正在驱动程序中累积。我不确定是什么原因导致它累积了char数组。

Answer 1

通过在名称中保留所有设置，解决了此问题。https://spark.apache.org/docs/latest/configuration.html#spark-用户界面

或者如果你不需要它，你可以完全禁用火花用户界面。