Spark emr重新分配计算合并

Question

我有一个新手火花问题。下面是我试图执行的程序：

dataset
 .join(anotherDataset)
 .repartition(7000)
 .flatmap(doComputation)
 .persist(StorageLevel.MEMORY_AND_DISK)
 .saveToS3()

我试图做的计算（doComput）是昂贵的，因为内存限制，我决定将数据集重新分区为7000个分区（即使我有1200个执行器，所以一次只能执行1200个）。然而，在完成计算后，我尝试写入s3，它大部分工作正常，但很少有任务最终超时，工作被重试。

1） 为什么在我保存在进行昂贵计算后生成的RDD时，整个作业都会被重试？

2） 我试图在持久化之后合并，但spark只是忽略了重新分区，只执行了500个任务：

dataset
 .join(anotherDataset)
 .repartition(7000)
 .flatmap(doComputation)
 .persist(StorageLevel.MEMORY_AND_DISK)
 .coalesce(500)
 .saveToS3()

有什么方法可以进行重新分区（7000）-计算（在这7000个分区上）-合并（500），然后写入s3吗？

Answer 1

1. 共享作业的DAG可视化？您应该在stderr中看到一些异常（丢失的执行者）等。
2. coalesc应该在重新分区时最小化数据移动。它忽略了重新分区，因为coalesc在重新分区时最小化了洗牌。