在键值对的值中展平RDD嵌套列表

Question

我花了一段时间才弄明白这一点，我想分享我的解决方案。当然欢迎改进。

参考：在RDD中展平Scala映射，通过反转groupby（即，为其中的每个序列重复标题）来展平序列

我有一个RDD的形式：RDD[（Int，List[（String，List[（String，Int，Float）]）]]

关键字：Int

值：List[（String，List[（String，Int，Float）]）]

目标是将其扁平化为：RDD[（Int，String，String，Int，Float）]

binHostCountByDate.foreach(println)

给出了例子：

(516361, List((2013-07-15, List((s2.rf.ru,1,0.5), (s1.rf.ru,1,0.5))), (2013-08-15, List((p.secure.com,1,1.0)))))

最终RDD应给出以下信息

(516361,2013-07-15,s2.rf.ru,1,0.5)
(516361,2013-07-15,s1.rf.ru,1,0.5)
(516361,2013-08-15,p.secure.com,1,1.0)

Answer 1

我的方法如下：

我将第一个键值对展平。这将“删除”第一个列表。

val binHostCountForDate = binHostCountByDate.flatMapValues(identity)

给我一个RDD的形式：RDD[（Int，（String，List[（String，Int，Float）]）]

binHostCountForDate.foreach(println)

(516361,(2013-07-15,List((s2.rf.ru,1,0.5), (s1.rf.ru,1,0.5))))
(516361,(2013-08-15,List(p.secure.com,1,1.0))

现在，我将前两项映射到一个元组中，创建一个新键，并将第二个元组作为值。然后应用与上面相同的过程来展平新的键值对。

val binDataRemapKey = binHostCountForDate.map(f =>((f._1, f._2._1), f._2._2)).flatMapValues(identity)

这给出了平坦的RDD:RDD[（Int，String），（String，Int，Float）]

如果这个形式是好的，那么我们就完成了，但是我们可以更进一步，删除元组，得到我们最初寻找的最终形式。

val binData = binDataRemapKey.map(f => (f._1._1, f._1._2, f._2._1, f._2._2, f._2._3))

这给出了RDD[（Int，String，String，Int，Float）的最终形式

我们现在有一个扁平的RDD，它保留了每个列表的父级。

Answer 2

这是一个简单的单行（在理解中使用解构，我们可以使用比_1更好的名称，_2_1等等，这使得我们更容易确保得到正确的结果

// Use a outer list in place of an RDD for test purposes
val t = List((516361,
                 List(("2013-07-15", List(("s2.rf.ru,",1,0.5), ("s1.rf.ru",1,0.5))),
                      ("2013-08-15", List(("p.secure.com,",1,1.0))))))

t flatMap {case (k, xs) => for ((d, ys) <- xs; (dom, a,b) <-ys) yield (k, d, dom, a, b)}
   //> res0: List[(Int, String, String, Int, Double)] = 
       List((516361,2013-07-15,s2.rf.ru,,1,0.5),
            (516361,2013-07-15,s1.rf.ru,1,0.5),
            (516361,2013-08-15,p.secure.com,,1,1.0))