Spark：Executor丢失失败（添加groupBy作业后）

Question

我得到了“ExecutorLostFailure（Executor1 lost）”。

我已经尝试了大部分的Spark调优配置。我已经减少到一个执行人失去，因为最初我得到了像6个执行人失败。

以下是我的配置（我的spark-submit）：

def process(in: RDD[(String, String, Int, String)]) = {
    in.groupBy(_._4)
}

Answer 1

出现了两个问题：

>

spark.shuffle.memoryfraction设置为1。为什么选择这个而不是保留默认的0.2？这可能会使其他非洗牌操作陷入困境

您只有11G可用于16个内核。只有11G的情况下，我会将工作中的工人数量设置为不超过3个--最初（为了解决执行者丢失的问题）只需尝试1个。对于16个执行器，每个执行器都有大约700MB的空间--这就不足为奇了，它们丢失了OOME/executor。