OutofMemoryError用更多的阶段将DAG火花化
我有一个运行sql联接的火花作业。
我可视化的DAG和它创建+5阶段的每个加入。无论如何，在DAG有大约40个阶段的阶段之后，下一个步骤总是以异常失败，即在8次迭代之后，每个迭代有5个阶段。
--conf spark.driver.memory=30g
--conf spark.yarn.driver.memoryOverhead=15g
--conf spark.executor.memory=10g
--conf spark.yarn.executor.memoryOverhead=6g
--conf spark.executor.cores=5
每个节点3个实例(R3.2xLarge)=>12个执行器实例
共有1个答案
解决方案是在几个阶段之后将数据持久化。这将启动一个新的执行计划，而不会添加到现有的计划中，使其越来越大并耗尽内存。
-
我有一个spark工作，处理大量数据并将结果写入S3。在处理过程中，我可能有超过5000个分区。在写入S3之前，我想减少分区的数量，因为每个分区都是作为一个文件写入的。 在其他一些情况下，处理过程中可能只有50个分区。如果我想合并而不是因为性能原因重新分区，会发生什么。 从文档来看，它说只有当输出分区的数量少于输入时才应该使用coalesce，但是如果不是，它似乎不会导致错误吗？它会导致数据不正确
-
当我使用spark运行一个作业时，我会得到以下日志？
-
一些脚本在工作时什么也不做，当我手动运行它们时，其中一个失败了，出现了以下消息： 错误SparkUI：未能绑定SparkUI java.net.bindexception：地址已在使用：服务“SparkUI”在重试16次后失败！ 所以我想知道是否有一种特定的方法来并行运行脚本？
-
我有一个spark作业，它连接2个数据集，执行一些转换，并减少数据以给出输出。现在的输入大小相当小（每个200MB数据集），但是在join之后，正如您在DAG中所看到的，作业会被卡住，并且不会继续进行第4阶段。我试着等了几个小时，它给了OOM并显示了第四阶段的失败任务。 为什么spark在stage-3（连接阶段）之后不显示stage-4（数据转换阶段）为活动的？它是不是在第3阶段和第4阶段之间徘
-
我在Dataproc上使用Spark集群，但我的作业在处理结束时失败了。 我的数据源是Google Cloud Storage上csv格式的文本日志文件（总量为3.5TB，5000个文件）。 处理逻辑如下： 将文件读到DataFrame（模式[“timestamp”,“message”])； 将所有邮件分组到1秒的窗口中； 对每个分组消息应用管道[tokenizer->HashingTF]以提取单
-
Spark v2.4 <代码>火花。sql。调试。此处定义了MaxToString字段https://github.com/apache/spark/blob/master/sql/catalyst/src/main/scala/org/apache/spark/sql/internal/SQLConf.scala 不知何故，它变成了在https://github.com/apache/spark