共有1个答案
Spark中的一个阶段表示本地完成的DAG计算的一部分。一个阶段在一个需要数据洗牌的操作上中断，这就是为什么您会看到它在Spark UI中被该操作命名。如果您使用的是Spark1.4+，那么您甚至可以在DAG可视化部分的UI中对此进行可视化：
请注意，拆分发生在reducebykey处，这需要进行洗牌才能完成完整的执行。
-
从我的火花UI。跳过是什么意思？
-
我注意到在 Spark 中的规则探索器每次催化剂更改计划时都会执行跟踪日志： https://github . com/Apache/spark/blob/78801881 c 405 de 47 f 7 e 53 EEA 3 e 0420 DD 69593 DBD/SQL/catalyst/src/main/Scala/org/Apache/spark/SQL/catalyst/rules/ru
-
本文向大家介绍什么是测试阶段？相关面试题，主要包含被问及什么是测试阶段？时的应答技巧和注意事项，需要的朋友参考一下 ①单元测试（组件测试） ②集成测试 ：自顶向下集成测试 、 自底向上集成测试 集成策略：广度优先、深度优先 ③系统测试 ④验收测试
-
问题内容： 我在jQuery文件中找到了这个： 花括号做什么？ 问题答案： 在您的情况下，这是一个传递给CSS函数的对象。 在这里你也可以使用 这是物体的另一个例子
-
问题内容： 我们打开了详细的GC日志记录来跟踪已知的内存泄漏，并在日志中获得以下条目： 我理解其中的第一个和第三个，但是“ GC–”是什么意思？ 问题答案： 我在gc输出中得到了以下几行： 我读了Yishai的回答，这很有意义，但是当JVM在GC日志中打印“-”时，我想在Java GC源代码中亲自查看它，以及为什么。 据我所知，Young Gen的“ Parallel Scavenge”是一个停滞
-
在运行spark作业时，可以在事件日志中以纯文本形式看到SSL密钥密码、keystorepassword。你能帮我如何从日志中隐藏这些密码吗？ 当我看到下面的内容时，https://issues.apache.org/jira/browse/spark-16796似乎是他们修复了它，使其不受web UI的影响。但我不确定我能用原木修复它 你的帮助真的很感激！！ “{”事件“：”SparkListe