连接后在各阶段之间卡住的火花作业

Question

我有一个spark作业，它连接2个数据集，执行一些转换，并减少数据以给出输出。现在的输入大小相当小（每个200MB数据集），但是在join之后，正如您在DAG中所看到的，作业会被卡住，并且不会继续进行第4阶段。我试着等了几个小时，它给了OOM并显示了第四阶段的失败任务。

1. 为什么spark在stage-3（连接阶段）之后不显示stage-4（数据转换阶段）为活动的？它是不是在第3阶段和第4阶段之间徘徊？
2. 我可以做什么来提高我的火花工作的绩效？我尝试增加洗牌分区，但结果还是一样。

职务代码：

joinedDataset.groupBy("group_field")
    .agg(collect_set("name").as("names")).select("names").as[List[String]]
      .rdd.                                     //converting to rdd since I need to use reduceByKey                                  
      .flatMap(entry => generatePairs(entry))   // this line generates pairs of words out of input text, so data size increases here
      .map(pair => ((pair._1, pair._2), 1))
      .reduceByKey(_+_)
      .sortBy(entry => entry._2, ascending = false)
      .coalesce(1)

Answer 1

在executor上尝试初始排序，然后reduce+排序

joinedDataset.groupBy("group_field")
    .agg(collect_set("name").as("names")).select("names").as[List[String]]
      .rdd.                                     //converting to rdd since I need to use reduceByKey                                  
      .flatMap(entry => generatePairs(entry))   // this line generates pairs of words out of input text, so data size increases here
      .map(pair => ((pair._1, pair._2), 1))
      .sortBy(entry => entry._2, ascending = false) // Do a initial sort on executors
      .reduceByKey(_+_)
      .sortBy(entry => entry._2, ascending = false) 
      .coalesce(1)