当前位置: 首页 > 知识库问答 >
问题:

在Apache Spark web UI中,“跳过的阶段”是什么意思?

楮庆
2023-03-14

从我的火花UI。跳过是什么意思?

共有1个答案

邢宏浚
2023-03-14

通常,这意味着数据已经从缓存中提取,不需要重新执行给定的阶段。它与您的DAG一致,DAG显示下一阶段需要洗牌(reducebykey)。只要涉及到洗牌,Spark就会自动缓存生成的数据:

Shuffle还在磁盘上生成大量的中间文件。从Spark1.3开始,这些文件将被保留,直到相应的RDDs不再使用并被垃圾回收为止。这样做是为了在重新计算沿袭时不需要重新创建洗牌文件。

 类似资料:
  • 当我使用spark运行一个作业时,我会得到以下日志?

  • 本文向大家介绍什么是测试阶段?相关面试题,主要包含被问及什么是测试阶段?时的应答技巧和注意事项,需要的朋友参考一下 ①单元测试(组件测试) ②集成测试 :自顶向下集成测试 、 自底向上集成测试 集成策略:广度优先、深度优先 ③系统测试 ④验收测试

  • 问题内容: 我已经看到了声明,接口和类 这是什么意思? 问题答案: 没有证据,我相信您在谈论Java的泛型支持… 泛型允许您抽象类型 在Java 5之前,很难提供能够支持多种不同类型的Objects的类而不必为每种特定情况编写代码,因此人们通常会这样做。 这导致在运行时做出许多困难的选择,您必须进行运行时检查以查看是否有可能将给定的Object强制转换为可用类型…例如 现在,这已经很明显了,但是如

  • 问题内容: 什么是在这个CSS规则是什么意思? 问题答案: 是相邻的同级组合器。 这意味着选择只选择自带 之后 的。 插图: 选择了什么,没有选择什么: 选择 这个来之后第一。 未选择 这出现在第一后而不是在。由于它不会立即跟随,因此未选中。 但是,由于它仍然紧随元素之后,选择器不会立即匹配此元素,而是将使用通用的同级组合器来匹配该元素。 未选择 这位于内,并且在引号内没有满足其选择器的内容。

  • 问题内容: 我想知道 = + _ 运算符在JavaScript中的含义。看起来像是在做作业。 例: 问题答案: r = +_; 尝试将任何内容强制转换为数字。 只是一个变量名(不是运算符),可以是,等等。 例: 将“ 1”强制转换为纯数字1。 现在,不是。 此外,根据算术运算符的MDN页面: 一元加号运算符位于其操作数之前,并求值为其操作数,但是 尝试将其转换为数字(如果尚未转换为数字) 。 […

  • 问题内容: 嗨,我遇到了以下代码 这到底是怎么回事?我不确定“&”在做什么。 问题答案: 回答 该符号是按位与运算符。与1一起使用时,基本上会屏蔽该值以提取最低位,换句话说,它将告诉您该值是偶数还是奇数。 有关Python运算符的更多信息 有关更多信息,请参见:http : //wiki.python.org/moin/BitwiseOperators 为什么检查奇数与偶数比较有效 编辑:添加此部