火花连接：括号问题

Question

我要加入两个rdd。

示例文件1数据:

245216  123422,187,235,742,1635,5600,2782,52,140943

示例文件2数据：

281216  12433,308,454,27862,2693,4578,138812,567,20,716

下面是代码：

rdd1 = sc.textFile("file1").map(_.split("\t")).map(line => (line(0), line(1)))
rdd2 = sc.textFile("file2").map(_.split("\t")).map(line => (line(0), line(1)))
val merged = rdd1.join(rdd2)    

o/p是k，(v)，我想在做进一步处理时去掉值两边的括号。我尝试了一些事情，包括

val merged_no_paren = merged.map { case (k, (v)) => (k, v) }

我还保存了结果：

 merged_no_paren.map{case x=>s"${x._1}\t${x._2}"}.saveAsTextFile("merged")

不幸的是，结果总是以下格式：

100   (1,50,200)
120   (2,25,789)
....

我希望他们：

100   1,50,200
120   2,25,789

Answer 1

加入后您的RDD类型为RDD[（String，（String， String））]。如果您只是打印一个（String， String），它会打印带括号的内容。但是您可以将其拆开并以任何您喜欢的方式打印它。

scala> val s = Seq(("1", ("2", "3")))
s: Seq[(String, (String, String))] = List((1,(2,3)))

scala> for (e <- s) println(e)
(1,(2,3))

scala> for ((k, v) <- s) println(s"$k $v")
1 (2,3)

scala> for ((k, (v1, v2)) <- s) println(s"$k $v1,$v2")
1 2,3