Spark-Scala RDD

Question

我有一个RDDrdd1，其模式如下：

RDD[String, Array[String]] 

（我们称之为RDD1)

我希望创建一个新的RDDrdd2，每一行都为RDD[String,String]，键和值属于rdd1。

RDD1 =Array(("Fruit",("Orange","Apple","Peach")),("Shape",("Square","Rectangle")),("Mathematician",("Aryabhatt"))))

我希望输出如下：

RDD2 = Array(("Fruit","Orange"),("Fruit","Apple"),("Fruit","Peach"),("Shape","Square"),("Shape","Rectangle"),("Mathematician","Aryabhatt"))

有人能帮我处理这段代码吗？

我的尝试：

val R1 = RDD1.map(line => (line._1,line._2.split((","))))
val R2 = R1.map(line => line._2.foreach(ph => ph.map(line._1)))

错误：值映射不是Char的成员

我理解这是因为map函数只适用于RDDs，而不是每个String/char。请帮助我在spark中使用嵌套函数。

Answer 1

分解问题。

1. （“fruit”,数组（“orange”,“apple”,“peach”）->数组（（“fruit”,“orange”）,（“fruit”,“apple”）,（“fruit”,“peach”））

def flattenLine（line：（String,array[String]))=line.2.map(x=>(line._1,x)

rdd1.flatmap（flattenLine）