如何将RDD[行]转换回DataFrame[副本]

Question

我一直在尝试将RDD转换为数据帧，然后再转换回来。首先，我有一个类型为（Int，Int）的RDD，称为dataPair。然后，我创建了一个带有列标题的DataFrame对象，使用：

val dataFrame = dataPair.toDF(header(0), header(1))

然后我使用以下方法将其从DataFrame转换回RDD：

val testRDD = dataFrame.rdd

它返回RDD类型org.apache.spark.sql.Row（not（Int， Int））。然后我想使用. toDF将其转换回RDD，但我得到一个错误：

error: value toDF is not a member of org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]

我尝试为testRDD定义类型Data（Int， Int）的Schema，但我得到类型不匹配异常：

error: type mismatch;
found   : org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]
required: org.apache.spark.rdd.RDD[Data]
    val testRDD: RDD[Data] = dataFrame.rdd
                                       ^

我已经输入了

import sqlContext.implicits._

Answer 1

要从行的RDD创建数据帧，通常有两个主要选项：

1）您可以使用toDF（），它可以通过import sqlContext.implicits._导入。但是，这种方法仅适用于以下类型的RDD：

• RDD[内景]
• RDD[长]
• RDD[字符串]
• <代码>RDD[T

（来源：SQLContext.implicits对象的Scaladoc）

最后一个签名实际上意味着它可以用于元组的RDD或case类的RDD（因为元组和case类是scala.Product的子类）。

因此，要将此方法用于RDD行，必须将其映射到RDD行

val df = rdd.map({ 
  case Row(val1: String, ..., valN: Long) => (val1, ..., valN)
}).toDF("col1_name", ..., "colN_name")

或

case class MyClass(val1: String, ..., valN: Long = 0L)
val df = rdd.map({ 
  case Row(val1: String, ..., valN: Long) => MyClass(val1, ..., valN)
}).toDF("col1_name", ..., "colN_name")

这种方法（在我看来）的主要缺点是，您必须在map函数中逐列显式设置结果数据帧的模式。如果您事先不知道模式，也许可以通过编程实现，但那里可能会有点混乱。因此，还有另一种选择：

2） 您可以使用SQLContext对象中提供的createDataFrame（rowRDD:RDD[Row]，schema:StructType）。示例：

val df = oldDF.sqlContext.createDataFrame(rdd, oldDF.schema)

请注意，无需显式设置任何模式列。我们重用旧DF的模式，它属于STRtType类，可以轻松扩展。但是，这种方法有时是不可能的，并且在某些情况下效率可能低于第一种方法。

我希望比以前更清楚。干杯