将数据帧转换为 rdd 的成本

Question

我尝试使用以下代码获取数据帧的分区数量:

df.rdd.getNumPartitions.toString

按照我的理解，dataframe通过元数据给rdd增加了一个结构层。那么，为什么在转换成rdd时要花这么多时间呢？

Answer 1

数据帧是经过优化的分布式表格集合。由于它保留了表格格式（类似于SQL表），因此它可以维护元数据以允许在后台执行Spark一些优化。

此优化由催化剂和钨等附属项目执行

RDD不包含任何模式，它要求你提供一个如果需要的。所以RDD并不像数据帧那样高度优化，(完全不涉及催化剂)

将DataFrame转换为RDD强制Spark遍历所有元素，将它们从高度优化的Catalyst空间转换为scala空间。

检查 .rdd 中的代码

  lazy val rdd: RDD[T] = {
    val objectType = exprEnc.deserializer.dataType
    rddQueryExecution.toRdd.mapPartitions { rows =>
      rows.map(_.get(0, objectType).asInstanceOf[T])
    }
  }

@transient private lazy val rddQueryExecution: QueryExecution = {
    val deserialized = CatalystSerde.deserialize[T](logicalPlan)
    sparkSession.sessionState.executePlan(deserialized)
  }

首先，它执行计划并以< code>RDD[InternalRow]的形式检索输出，顾名思义，它仅供内部使用，需要转换为< code>RDD[Row]

然后，它遍历所有行并转换它们。如您所见，这不仅仅是删除模式

希望这能回答你的问题。