Spark数据帧zipWithIndex

Question

我正在使用数据帧读取。拼花地板文件，但不是将它们转换为rdd来进行我的正常处理，我想对它们进行处理。

所以我有我的文件：

val dataSplit = sqlContext.parquetFile("input.parquet")
val convRDD = dataSplit.rdd 
val columnIndex = convRDD.flatMap(r => r.zipWithIndex)

即使从数据帧转换为RDD，我也会收到以下错误：

：26：错误：值zipWithIndex不是组织的成员。阿帕奇。火花sql。一行

任何人都知道如何做我正在尝试做的事情，本质上是尝试获取值和列索引。

我在想这样的事情：

val dataSplit = sqlContext.parquetFile(inputVal.toString)
val schema = dataSplit.schema
val columnIndex = dataSplit.flatMap(r => 0 until schema.length

但最后一部分被卡住了，因为不知道如何做zipWithIndex的相同操作。

Answer 1

您可以简单地将Row转换为Seq：

convRDD.flatMap(r => r.toSeq.zipWithIndex)

这里需要注意的重要事情是提取类型信息变得棘手。Row.toSeq返回Seq[Any]，结果RDD是RDD[（Any， Int）]。