当Row包含复杂类型时，如何从RDD[Row]创建Spark DataFrame

Question

我有一个RDD[HbaseRecord]，它包含一个自定义复杂类型Name。这两个类定义如下：

class HbaseRecord(
      val uuid: String,
      val timestamp: String,
      val name: Name
)

class Name(    
    val firstName:                String,     
    val middleName:               String,       
    val lastName:                 String
)

在我代码中的某个点，我想从RDD生成一个DataFrame，这样我就可以将它保存为一个avro文件。我尝试了以下操作：

//I get an Object from Hbase here
val objectRDD : RDD[HbaseRecord] = ... 

//I convert the RDD[HbaseRecord] into RDD[Row]
val rowRDD : RDD[Row] = objectRDD .map(
    hbaseRecord => {
      val uuid : String = hbaseRecord.uuid
      val timestamp : String = hbaseRecord.timestamp
      val name : Name = hbaseRecord.name

      Row(uuid, timestamp, name)
    })

//Here I define the schema
   val schema = new StructType()
                  .add("uuid",StringType)
                  .add("timestamp", StringType)
                  .add("name", new StructType()
                                  .add("firstName",StringType)
                                  .add("middleName",StringType)
                                  .add("lastName",StringType)

//Now I try to create a Dataframe using the RDD[Row] and the schema
val dataFrame = sqlContext.createDataFrame(rowRDD , schema)

我尝试从行中删除复杂类型，因此它将是Row[String,String]，然后就没有错误了。所以我假设问题出在复杂类型上。

我做错了什么？或者我可以遵循什么其他方法来生成具有复杂类型的DataFrame？

Answer 1

我只是使用了简单的case class来代替class。name列不符合定义的架构。将name列转换为行类型，它应该可以工作。

val rowRDD : RDD[Row] = objectRDD .map(
    hbaseRecord => {
      val uuid : String = hbaseRecord.uuid
      val timestamp : String = hbaseRecord.timestamp
      val name = Row(hbaseRecord.name.firstName,
                     hbaseRecord.name.middleName,hbaseRecord.name.lastName)
      Row(uuid, timestamp, name)
    })