为什么 Spark 数据帧转换为 RDD 需要完全重新映射？

Question

来自Spark源代码：

/**
   * Represents the content of the Dataset as an `RDD` of `T`.
   *
   * @group basic
   * @since 1.6.0
   */
  lazy val rdd: RDD[T] = {
    val objectType = exprEnc.deserializer.dataType
    rddQueryExecution.toRdd.mapPartitions { rows =>
      rows.map(_.get(0, objectType).asInstanceOf[T])
    }
  }

https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/Dataset.scala#L2972

映射分区可能需要与首先计算 RDD 所需的时间一样长。因此，这使得诸如

df.rdd.getNumPartitions

非常贵。假设< code>DataFrame是< code>DataSet[Row]，而< code>DataSet由< code>RDD组成，为什么需要重新映射？任何见解不胜感激。