simple sparksql联接查询上丢失的执行器

Question

我正在运行一个简单的sparkSQL查询，它在2个数据集上进行匹配每个数据集大约500GB。所以整个数据大约是1TB。

val adreqPerDeviceid = sqlContext.sql("select count(Distinct a.DeviceId) as MatchCount from adreqdata1 a inner join adreqdata2  b ON a.DeviceId=b.DeviceId ")
adreqPerDeviceid.cache()
adreqPerDeviceid.show()

作业工作良好，直到数据加载（分配了10K任务）。在.cache行分配了200个任务。失败的地方！我知道我不是在缓存一个巨大的数据，它只是一个数字，为什么它会在这里失败。

以下是错误详细信息：

Answer 1

每当您对一个巨大的数据集进行连接时，即从2个数据集的连接中寻找聚合值，您的集群需要一个最小的硬盘（DataSet1+DataSet2)大小，而不是RAM。则作业将成功。